Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3173

[Удален]  
Помню, как-то мы прогнозировали временной ряд назад, а не вперед. И результаты вроде бы отличались в лучшую сторону. Проверять я это конечно не буду (с) :)
 
Maxim Dmitrievsky #:
Связано, потому что вы до этого заложили параметры на основе своих знаний или предпочтений. Изначально знаете как получить кривую лучше, через какие параметры. Плюс могли торговать раньше на ранней истории и на этом опыте строить тс на новой истории. Глубина такой гештальт-терапии может быть колоссальной :)

Знаком с этим эффектом переобучения головного мозга. В данном случае ТС была написана хронологически до вот этого.

В общем, благодарен за мысли.

 
fxsaber #:

Необходимость разделения на train/test/exam не понимаю.

Просьба пояснить, каков смысл в этих интервалах?

Сейчас представляю такую схему по ним.

  1. Числодробилка пашет на train, фильтруя по test.
  2. Числодробилка выключается полностью. И берется несколько лучших результатов на exam.


Первый пункт видится странным. А-ля "форвард-тест" в тестере. Разве это лучше, чем просто оптимизация без фильтрации, но на объединенном интервале: train+test?

 
fxsaber #:

Такой самообман не практикую. Делаю только так.

  1. Оптимизация на трейне.
  2. Из найденных беру пятерку лучших и смотрю поведение на OOS. В этом пункте ни в коем случае нет никакой оптимизации.
Именно так были получены исходные картинки. Поэтому красивый OOS слева - это не подгонка совсем.
Вы делаете один в один то что я описал, перечитайте более внимательно.
===================
Делайте сравнение с СБ,  пока нету сравнения и не доказано что ТС ведёт себя на рыночных данных иначе чем на СБ,   нету смысла строить гипотезы 
 
mytarmailS #:
Вы делаете один в один то что я описал, перечитайте более внимательно.

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

Машинное обучение в трейдинге: теория, модели, практика и алготорговля

mytarmailS, 2023.08.16 13:23

представьте что у вас есть всего 1000 вариантов ТС, вообще


вашы шаги 1 и 2

1) Вы начинаете оптимизировать/искать   хорошую ТС , это трейн данные (подгонка/поиск/оптимизация)

допустим вы нашли 300 вариантов где ТС зарабатывает..

2) Теперь вы ищете ТС из этих 300 вариантов  которая пройдет  OOS это тест данные. Вы нашли скажем 10 ТС которые зарабатывают и на трейне и на тесте ( OOS )

Второй шаг не делаю.

 
fxsaber #:

Второй шаг не делаю.

ваш второй шаг, который вы "не делаете" ))


В чем различие?

 
fxsaber #:

1. Не совсем понял вопрос. Левый ООС - год. Его увеличить в прошлое?

2. Предполагаю, что признаком отсутствия ошибок в коде является то, что код выполняет ровно то, что было задумано до программирования. В этом смысле все в порядке.

А в общем случае ТС с ошибками в коде - это все равно ТС. Просто не совсем такая, как изначально задумывал автор.

1. Да.

2. Да.

Если резкий слив всегда сразу после обучения, то торговать в обратку и всего то делов (но это очень странный сценарий и причины объяснить затруднительно). Но, конечно, скорее всего слив сразу после обучения происходит не всегда (случайно), тогда это говорит о слабой прогностической способности модели.

 
fxsaber #:

Высокая категоричность утверждений без доли сомнений. На тему расположения ООС делал пост.

Не первый раз сталкиваюсь с нелюбовью к тестеру. Чем не угодила числодробилка, не знаю.

Плохо понимаю, как можно заглядывать вперед при оптимизации.


По методике. Необходимость разделения на train/test/exam не понимаю. Утверждение даже при самом благоприятном стат. исследовании, что ТС НЕ переобучена, выглядит слишком самоубежденным.

Максимум, что могу получить в выводе: "скорее всего, ТС нашла некую закономерность, которая была некоторое время до и после интервала обучения. При этом нет никакой гарантии, что эта закономерность уже не сломалась."

Моя высокая категоричность основана на описанном подходе, который является стандартным в МО. Я еще не упомянул к описанному кросс валидацию. Это профессиональный подход к анализу рынков в МО.

То, что Вы описываете -  это любительский уровень, уровень ТА, в котором невозможно обосновать выводы статистикой. Из-за этого статистика подменяется тестером, который в своей основе НЕ имеет отношения к статистике.

Если это понимать, то можно и нужно использовать тестер ТОЛЬКО после предварительных расчетов, выводы которых основаны на статистике.

Именно поэтому описанный мной подход подготовки исходных данных выходит за рамки тестера и является НЕКОТОРОЙ гарантией переобученности и заглядывания вперед. Сравните последовательное тестирование и тестирование на перемешанных данных.

От того, что Вы не понимаете, как ООС слева может является следствием заглядывания вперед, НЕ означает, что этого нет. Глядя на картинку, это очень подозрительно. Например, вполне вероятно, что алгоритм в будущем для ООС отрезке что-то вылавливает, что дает такую же красивую картинку как и на ООС. Как только переходите на будущее по отношению к участку тестирования, то сразу же облом.

Вывод.

 Картинка, где слив справа от тестирования, является доказательством переобучености и/или заглядывания вперед. 

 

Отдельно про тестер.

В тестере есть график оптимизации в виде "двумерной поверхности".

По нему можно контролировать переобученность.

Если в этой поверхности можно выделить кусок, в котором одна клеточка окружена другими клеточками примерно одинакового цвета, то эта центральная клеточка даст параметры НЕ переобученной ТС. Такое положение соответствует тому, что найденный оптимум представляет собой плато.

Однако, если "поверхность" выглядит как шкура леопарда, то ТС безнадежна, так как тестер нашел большое число максимумов, что говорит о крайне малой вероятности попасть в них будущем.

 

Ссылка для любителей моделей рынка в целом.

Can a Simple Multi-Agent Model Replicate Complex Stock Market Behaviour?
Can a Simple Multi-Agent Model Replicate Complex Stock Market Behaviour?
  • www.r-bloggers.com
The stock market is one of the most complex systems we know about. Millions of intelligent, highly competitive people (and increasingly AIs) try to outwit each other to earn as much money as possible. In...