Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1439

 
Maxim Dmitrievsky:

например, обучаю за месяц, работает год на новых данных почти так же неплохо. Обучаю за 2-3 месяца - уже не работает.. какая-то хня

Это у вас на самообучающейся системе такие результаты?
 
elibrarius:
Это у вас на самообучающейся системе такие результаты?

да, на ней, с некоторыми трюками. Один раскрою - добавляйте промежуточные сэмплы в модель. Например, был сигнал на открытие сделки на бай, все время пока она открыта, на каждом новом баре добавляете еще сэмпл с той же меткой на покупку, с новыми показаниями фичей, соотвественно. Это сильно уменьшит ошибку. Некое дублирование сэмплов.

Может, в какой-то модели и не уменьшит ошибку, но на моих сильно уменьшает.
 
Maxim Dmitrievsky:

да, на ней, с некоторыми трюками. Один раскрою - добавляйте промежуточные сэмплы в модель. Например, был сигнал на открытие сделки на бай, все время пока она открыта, на каждом новом баре добавляете еще сэмпл с той же меткой на покупку, с новыми показаниями фичей, соотвественно. Это сильно уменьшит ошибку. Некое дублирование сэмплов.

Ну это типа подбора целевой на первом заходе. Остальные циклы -по сути уже обучение с учителем полученным от первого прохода.
С этим трюком вы протестируете больше вариаций.
 
elibrarius:
Ну это типа подбора целевой на первом заходе. Остальные циклы -по сути уже обучение с учителем полученным от первого прохода.
С этим трюком вы протестируете больше вариаций.

не очень понял. Скорее, это дублирование сэмплов. Обычно просто подают метки на покупку, продажу, не заботясь о том как рынок ведет себя между этими сигналами. Если докидывать промежуточных подкрепляющих сэмплов то модель автоматом классифицирует лучше.

Например, если по факту у меня 1000 сэмплов-сигналов, то вместе с промежуточными подкрепляющими это 5к и больше
 
Aleksey Vyazmikin:

При этом прунинг должен контролировать полноту, т.е. резать до охвата выборки не менее 0,5-1%.

полноту чего? просто эмпирически отрезать на нужную глубину

 
Maxim Dmitrievsky:

полноту чего? просто эмпирически отрезать на нужную глубину

В лист должно попадать не менее заданного процента примеров из выборки, если меньше, то обрезаем сплиты. Чем больше примеров, тем вероятней закономерность - тут все просто.

 
Maxim Dmitrievsky:

да, на ней, с некоторыми трюками. Один раскрою - добавляйте промежуточные сэмплы в модель. Например, был сигнал на открытие сделки на бай, все время пока она открыта, на каждом новом баре добавляете еще сэмпл с той же меткой на покупку, с новыми показаниями фичей, соотвественно. Это сильно уменьшит ошибку. Некое дублирование сэмплов.

Может, в какой-то модели и не уменьшит ошибку, но на моих сильно уменьшает.

Я с этого подхода начинал, но наоборот, пытался выявить гладкость кривой правильной классификации от точки входа до точки выхода, но мой подход требует больших вычислительных мощностей - поэтому вынужден был отказаться. У Вас же обратный вариант, это интересно, тут есть потенциал для контртрендовика... как раз думаю, как можно было бы нечто похожее на МО реализовать, что в моих сигналах работает - не знаю как обучать, но потенциал там явно есть.

 
Maxim Dmitrievsky:

не очень понял. Скорее, это дублирование сэмплов. Обычно просто подают метки на покупку, продажу, не заботясь о том как рынок ведет себя между этими сигналами. Если докидывать промежуточных подкрепляющих сэмплов то модель автоматом классифицирует лучше.

Например, если по факту у меня 1000 сэмплов-сигналов, то вместе с промежуточными подкрепляющими это 5к и больше

Я тоже это заметил и применял, но насколько понял, это работает потому, что данные г..но, а такой трюк помогает обучить на диапазоне отклонений. Если этого не делать, то модель подгоняется под одного брокера или даже иногда перестает работать после каких-то обновлений перезагрузок данных на одном и том же терминале.

 
Ivan Negreshniy:

Я тоже это заметил и применял, но насколько понял, это работает потому, что данные г..но, а такой трюк помогает обучить на диапазоне отклонений. Если этого не делать, то модель подгоняется под одного брокера или даже иногда перестает работать после каких-то обновлений перезагрузок данных на одном и том же терминале.

короче я написал что уменьшает ошибку, есть другие более изощренные трюки типа кроссвалидации но только на другой манер и проч. Все это в совокупности дает неплохую модель. Если дело идет именно о поиске закономерностей то это методы энтропии\взаимной нсформаци\предобработки

Там у всех свои трюки могут быть

 
Maxim Dmitrievsky:

у меня эти задачи решены, если не полностью, то хотя бы что-то работает, ошибки на ООС 0.1-0.2 (классификации), энтропия хуже но оно и понятно, эта метрика за другое отвечает

конечно конечно... а по факту:

Позор Максима Денисенко

Причина обращения: