Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3172
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
ООС всегда должна быть СПРАВА.
Если ООС СЛЕВА, то невозможно гарантировать, что ТС НЕ переобучена и НЕ заглядывает вперед . Это первые главные проблемы, которые надо решать при тестировании ТС ДО всего остального.
Какая из них у Вас? Да какая разница! То, что либо одна из них либо обе - не имеет значения. Надо правильно тестировать и баста - ООС справа.
А лучше забыть про тестер и файлы для тестирования формировать следующим образом:
Высокая категоричность утверждений без доли сомнений. На тему расположения ООС делал пост.
Не первый раз сталкиваюсь с нелюбовью к тестеру. Чем не угодила числодробилка, не знаю.
Имеем два файла.
Первый файл делим случайно выборкой по sample на три части: обучения, тестирования и валидации. Учим на выборке (случайной) обучения, потом проверяем на случайной выборке тестирования и валидации - это все РАЗНЫЕ куски первого файла. Сравниваем результат. Примерно равны, то проверяем на втором файле "естественной последовательности". Если и здесь примерно равны, то получаем главный вывод: наша ТС НЕ переобучена и НЕ заглядывает вперед. Только имея этот вывод имеет смысл рассуждать о чем угодно еще: точности, прибыльности и прочем, все это ВТОРИЧНО.
Замечу, что других способов проверки на заглядывание вперед и переобучение фактически нет.
Плохо понимаю, как можно заглядывать вперед при оптимизации.
По методике. Необходимость разделения на train/test/exam не понимаю. Утверждение даже при самом благоприятном стат. исследовании, что ТС НЕ переобучена, выглядит слишком самоубежденным.
Максимум, что могу получить в выводе: "скорее всего, ТС нашла некую закономерность, которая была некоторое время до и после интервала обучения. При этом нет никакой гарантии, что эта закономерность уже не сломалась."
Здесь больше актуально какую таблетку принять: синюю или красную :)
Это удача и p-hacking, да. Поэтому результаты могут быть какие угодно.
Погодите, о каком выборе в этом месте идет речь?
Погодите, о каком выборе в этом месте идет речь?
Ну вы выбрали этот вариант и показали, что слева хорошо, а справа плохо.
У вас же несколько вариантов оптимизации, но вы выбираете именно такие, чтобы показать.
Ну вы выбрали этот вариант и показали, что слева хорошо, а справа плохо
Не выбирал. Вот метода.
Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий
Машинное обучение в трейдинге: теория, модели, практика и алготорговля
fxsaber, 2023.08.17 06:58
Такой самообман не практикую. Делаю только так.
Не выбирал. Вот метода.
ну более утонченный p-hacking :) все равно происходит множественное тестирование и подбор диапазонов параметров ТС. Они же не с потолка берутся.
Если уменьшить период обучения, то так же быстро произойдет перелом тенденции графика?
По разному, конечно. Но очень часто виден слом сразу после Sample. Возможно, это когнитивное искажение, когда на что-то сильнее обращаешь и создается впечатление, что так происходит слишком часто.
Мало что знаю про тиковые стратегии, но один из факторов такого поведения - отсутствие сопоставимых данных при обучении, к примеру - на обучении был в основном тренд вниз на каком то TF.
На графике три года ежедневной торговли.
Не знаю, какой метод обучения используете, если это древовидные системы или фильтры просто зажимающие диапазон условного индикатора (функции), то стоит оценить число примеров, попадающих в каждый из таких диапазонов.
Вот что не делал, так это не строил график для каждого диапазона. Стат. данные считал, а сам график не смотрел.
Возможна ситуация - дрейф данных и смещение распределения вероятностного исхода для фильтра/листа.
К примеру, когда я отбираю квантовые отрезки на выборке для обучения, и потом оцениваю их распределение (процент правильных и не правильных откликов на целевую 0||1) на двух других выборках, то отвечающих критерию стабильности на 3х выборках выявляется в пределах 25%-30% - понятно, что при таком раскладе модель имеет больше шансов выбрать нестабильный предиктор, который перестанет работать на одном из участков.
В итоге всё сводится к анализу простых закономерностей, а именно поиску оснований их считать таковыми, а не случайным наблюдением хвоста кометы в телескопе.
Не понял выделенное.
ну более утонченный p-hacking :) все равно происходит множественное тестирование и подбор диапазонов параметров ТС. Они же не с потолка берутся.
Стоп. Вы же не против самого процесса оптимизации? Получение нужной кривой на Sample-интервале никак не связано с другими интервалами чисто логически.
Стоп. Вы же не против самого процесса оптимизации? Получение нужной кривой на Sample-интервале никак не связано с другими интервалами чисто логически.
а если сдвигать начало тестирования ещё назад? как долго система остаётся прибыльной?
Не совсем понял вопрос. Левый ООС - год. Его увеличить в прошлое?
я встречался с подобным поведением системы, когда на OOS справа происходит резкий слив, не думаю что это связано прям с резким 180 градусным разворотом найденных рыночных закономерностей (это бы свидетельствовало о причинах мистического характера, применений практик вуду и вообще чего угодно скорее, чем о каких то реальных проблемах наподобие переобучения или подгонки, ведь это по крайней мере странно, когда резкий слив происходит всегда именно после окончания обучения). обычно это связано с какими то ошибками в коде являющимися причиной ложно-положительных (или ложно-отрицательных) результатов как сказал выше Макс, исправление которых приводит к случайному поведению на ООS справа в худшем случае (переобучение) или постепенному угасанию прибыльности в лучшем случае (затухание найденных закономерностей и/или их постепенной сменой).
Предполагаю, что признаком отсутствия ошибок в коде является то, что код выполняет ровно то, что было задумано до программирования. В этом смысле все в порядке.
А в общем случае ТС с ошибками в коде - это все равно ТС. Просто не совсем такая, как изначально задумывал автор.