Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3679

 
Forester #:
Историю почти идеально запомнить можно и одним деревом. Что-то про успешность на новых данных ни слова.
У меня та же ситуация, как у СанСаныча.
Идеально заучивать и не надо, надо закономерности находить, обобщение. Но как получить обобщение, а не просто недообучение?

1. отказаться употреблять в мышлении понятия "переобучение" и "недообучение" как субъективных и неимеющих количественной оценки.
2. отказаться от применения детерминированных методов, которые действительно годны только для сбора статистики.
3. если метод не работает на новых данных, значит он не моделирует истинный процесс (см п. 1 и п. 2)
4. метод, моделирующий истинный процесс (закономерности), будет иметь 100% возможной фитнеса, нет в этом случае никакого "недообучения", (см п. 1, п. 2, п. 3)
 
Forester #:
Историю почти идеально запомнить можно и одним деревом. Что-то про успешность на новых данных ни слова.
У меня та же ситуация, как у СанСаныча.
Идеально заучивать и не надо, надо закономерности находить, обобщение. Но как получить обобщение, а не просто недообучение?

1) Каждый паттерн стремится к уникальности, если сравнивать цены между собой. С каждой новой ценой о окне сравнение (первая цена со второй, первая с третьей, вторая с третьей и тд), «уникальность» увеличивается в разы. 
Тоже самое и при форматировании ценового пространства в упрощённые модели: скаждым новым сравнением «уникальность» увеличивается и фигура, у которой сравниваются пару десятков опорных точек встретится в будущем через 120 лет. 

2) Шахматы имеют условно бесконечное количество паттернов. Но машина учится играть бесконечно правильно и бесконечно сильно. 
3D-пространство имеет бесконечное число состояний агента, начиная от начальной точки, заканчивая соотношением углов сгиба конечностей его болванки, помноженное на каждый пиксель-воксель и тд. Но машина учится ходить, играть, и выигрывать, не изучая все эти состояния. 

Можно ли как-то применить методы "оттуда", чтобы пустить агента на график. 
Агент будет видеть постоянно бесконечную картину паттернов "много входных данных (по сути - голый график), но как-то обучаться "выигрывать" в этой среде. 

 
СанСаныч Фоменко #:

А это говорит о том, что не имеет смысла любые ухищрения на этапе обучения - достаточно чего-то примитивного.

Бывает, что и 1 дерево разделенное на 2-3 сплита показывает результаты лучше, чем более глубокие деревья/леса.
Но это уже слишком примитивно. Хочется чего-то более точного. И при такой грубой модели будет много неудачных сделок, что опускает профит фактор почти к 1 и ниже. 

Ivan Butko #:

Тоже самое и при форматировании ценового пространства в упрощённые модели: скаждым новым сравнением «уникальность» увеличивается и фигура, у которой сравниваются пару десятков опорных точек встретится в будущем через 120 лет.

видимо потому 3 сплита и показывают хороший результат. Оставляя модель очень грубой и не заучивая уникальные особенности

Andrey Dik #:

4. метод, моделирующий истинный процесс (закономерности), будет иметь 100% возможной фитнеса, нет в этом случае никакого "недообучения", (см п. 1, п. 2, п. 3)

Проблема и с закономерностями (есть ли они, и насколько сильны) и с методами для их поиска.

 

Ну, вообще говоря, ансамблирование в МО имеет смысл если есть слабые алгоритмы, которые хоть немного, но всё же работают.

Соответственно, ансамблируемые ТС должны давать хотя бы небольшую прибыль. Общепринято собирать такие модели в портфели - по сути бэггинг.

Вопрос (теоретический) был по сути о том, что можно ли вместо портфелирования этих слабых ТС придумать какую-то более сложную процедуру вроде бустинга.

[Удален]  
Aleksey Nikolayev #:
Но подходящая для МО-трейдинга платформа не помешала бы. С кастомными событиями и нормальной синхронизацией событий на истории.
Может быть да. Я строю ТС на базе подхода к торговле, но не платформы. Потом делаю обвязку в виде коннектора или переноса в существующую платформу. В общем-то это самая малая часть работы. Сложнее всего придумать сам подход, к сожалению :) новый подход придумывается только в процессе медитации, бывает что даже коньячной
 
Maxim Dmitrievsky #:
в процессе медитации, бывает что даже коньячной

Какой предпочитаешь? 

[Удален]  
Aleksey Nikolayev #:

Ну, вообще говоря, ансамблирование в МО имеет смысл если есть слабые алгоритмы, которые хоть немного, но всё же работают.

Соответственно, ансамблируемые ТС должны давать хотя бы небольшую прибыль. Общепринято собирать такие модели в портфели - по сути бэггинг.

Вопрос (теоретический) был по сути о том, что можно ли вместо портфелирования этих слабых ТС придумать какую-то более сложную процедуру вроде бустинга.

Если учитывать то, что бэгинг снижает смещение, а бустинг смещение и дисперсию, то бустинг конечно лучше. В плане кривой, но не обобщения. Тогда предыдущие ТС нужно выстраивать лесенкой в качестве параметров для следующих ТС. Но нужно как-то избавиться от промежуточных параметров, потому что тогда сложность модели будет расти. 
Мне в принципе не нравится ни один из этих подходов, поэтому не рассматриваю. 
Там есть цикл статей по подобном подходам, но вроде все печально на новых данных. 
 
Maxim Dmitrievsky #:
Может быть да. Я строю ТС на базе подхода к торговле, но не платформы. Потом делаю обвязку в виде коннектора или переноса в существующую платформу. В общем-то это самая малая часть работы. Сложнее всего придумать сам подход, к сожалению :) новый подход придумывается только в процессе медитации, бывает что даже коньячной

Да, занюхивание качественного конъяка из снифтера согреваемого ладонью...)

Просто иногда раздражает отсутствие штатной возможности для портфельного OnTick() или необходимость шаманства для синхронизации новостей с ценами при тестировании.

 
Forester #:

Бывает, что и 1 дерево разделенное на 2-3 сплита показывает результаты лучше, чем более глубокие деревья/леса.
Но это уже слишком примитивно. Хочется чего-то более точного. И при такой грубой модели будет много неудачных сделок, что опускает профит фактор почти к 1 и ниже. 

видимо потому 3 сплита и показывают хороший результат. Оставляя модель очень грубой и не заучивая уникальные особенности

Обратите внимание: торговля грубая, но её грубость распространяется на другие пары. Некое возмещение. 

Наблюдаю при простых конструкциях: грубая прибыль на форварде не только на обучяемой, но и на других парах. Хоть в портфель собирай. 

И наоборот: хороший форвард "тяжёлой" модели абсолютно рандомен на всех остальных парах. 
 
Maxim Dmitrievsky #:
Если учитывать то, что бэгинг снижает смещение, а бустинг смещение и дисперсию, то бустинг конечно лучше. В плане кривой, но не обобщения. Тогда предыдущие ТС нужно выстраивать лесенкой в качестве параметров для следующих ТС. Но нужно как-то избавиться от промежуточных параметров, потому что тогда сложность модели будет расти. 
Мне в принципе не нравится ни один из этих подходов, поэтому не рассматриваю. 
Там есть цикл статей по подобном подходам, но вроде все печально на новых данных. 
Возможно так и есть. Довольно много статей, где метод "1/N" (когда делается простой портфель с одинаковыми весами) оказывается не хуже по результатам, чем всякие изощрённые подходы.