Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2595

[Удален]  
elibrarius #:

Тогда получается, что надо обучаться на максимально коротком участке. Чтобы после смены закономерности новая модель быстрее начала работать.

Например, если обучение на 12 месяцах, то после смены закономерности через 6 месяцев новые и старые закономерности будут 50/50. И примерно через год будет обучение и торговля на новой закономерности. Т.е. почти целый год модель торговала на устаревшей закономерности и скорее всего сливала.

Если обучаться на 1 месяце, то уже через месяц модель снова научится правильно работать.

Хорошо бы на 1 неделе учиться... но данных уже маловато.

Тогда может недообучиться, меньше профита давать.. тут как бы уже вопрос подбора наверное. Иногда семплирование из текущих распределений может помочь для коротких выборок, типа как в статьях 
[Удален]  
Replikant_mih #:

Про шумы да. Хотя не думал об этом с точки зрения брать участки истории с шумами и без. И кстати как это понимать до обучения модели? Типа итерационно? Обучил на всем участке, посмотрел где лучше всего перформит, оставил только эти участки и обучил сначала только на этих участках? Возникает второй вопрос, который до экспериментального подтверждения можно назвать философским: что для модели лучше - сразу видеть разные участки, в т.ч. зашумленные но обучаться в среднем на более зашумленных данных или обучаться на более чистых, но, условно, ни разу не видеть зашумленные данные. 


А чем плохи гигантские размеры? Помимо увеличения времени на вычисления?

Ну типа обучить на последней истории на разных длинах трейна и сравнить как модели работали на более ранней истории, если перестают работать одновременно где-то, то вот он «горизонт применимости в прошлом», с учётом последней истории. А как оно в будущем будет неизвестно, но можно определить критерии останова бота - начал хуже торговать чем на истории, например.

На длинной выборке может исчезнуть общая закономерность, которая проявляется на подвыборках. Если закономерности с подвыборок противоречат друг другу, то останется обучиться только на шум, что успешно и происходит в большинстве случаев :)
[Удален]  
elibrarius #:

Наверное лучше валкинг форвардом, у него ООС всегда после трейна. На КВ только первый проход будет таким, остальные будут использовать для трейна данные и до, и после ООС.

Есть специальная тайм сериес КВ, у катбуста например. Но тогда датасет нельзя перемешивать. А если не перемешивать, то это похоже на подгонку под сменяющиеся участки равной длины. А если перемешивать, то обучение больше под локальные сигналы, не зависящие, грубо говоря, от смены трендов. Фиг знает что лучше :)
 
Maxim Dmitrievsky #:
  А если не перемешивать, то это похоже на подгонку под сменяющиеся участки равной длины.
Я и торговать так собираюсь. Длина будет равна неделе. Неделю торгую, в выходные обучение. И валкинг форвард так же делает.
 
Дуристика
 
elibrarius #:

Наверное лучше валкинг форвардом, у него ООС всегда после трейна. На КВ только первый проход будет таким, остальные будут использовать для трейна данные и до, и после ООС.

Соглашусь с вами, если отвечаем на вопрос "Как торговать на следующем периоде?". Если же отвечаем на вопрос "Есть ли закономерность на данном отрезке истории?", то КВ вполне применима.

 
Maxim Dmitrievsky #:
Ну типа обучить на последней истории на разных длинах трейна и сравнить как модели работали на более ранней истории, если перестают работать одновременно где-то, то вот он «горизонт применимости в прошлом», с учётом последней истории. А как оно в будущем будет неизвестно, но можно определить критерии останова бота - начал хуже торговать чем на истории, например.

На длинной выборке может исчезнуть общая закономерность, которая проявляется на подвыборках. Если закономерности с подвыборок противоречат друг другу, то останется обучиться только на шум, что успешно и происходит в большинстве случаев :)

Да, как-то так наверно)

 
Maxim Dmitrievsky #:
Ну типа обучить на последней истории на разных длинах трейна и сравнить как модели работали на более ранней истории, если перестают работать одновременно где-то, то вот он «горизонт применимости в прошлом», с учётом последней истории.

Вот это и называется метод "перебора вариантов" или "метод тыка"...

Как Вы все понимаете, это наихудший из возможных вариантов по эффективности...

Нормальные ребята начинают с разработки ТЕОРИИ...  Уже потом идут: разработка стратегии , оптимизация и тестирование...

 
Serqey Nikitin #:

Вот это и называется метод "перебора вариантов" или "метод тыка"...

Как Вы все понимаете, это наихудший из возможных вариантов по эффективности...

Нормальные ребята начинают с разработки ТЕОРИИ...  Уже потом идут: разработка стратегии , оптимизация и тестирование...

Много теорий (возможно большинство) были разработаны как раз на основе результатов практических экспериментов.
 
elibrarius #:
Много теорий (возможно большинство) были разработаны как раз на основе результатов практических экспериментов.

Да, Вы правы!  Но в то время ( когда "большинство" ) не было эффективных методов решения проблем, таких как ТРИЗ...

Приходилось на ощупь, с учетом внутренней чуйки, искать оптимальные пути для решения проблемы...