Тогда получается, что надо обучаться на максимально коротком участке. Чтобы после смены закономерности новая модель быстрее начала работать.
Например, если обучение на 12 месяцах, то после смены закономерности через 6 месяцев новые и старые закономерности будут 50/50. И примерно через год будет обучение и торговля на новой закономерности. Т.е. почти целый год модель торговала на устаревшей закономерности и скорее всего сливала.
Если обучаться на 1 месяце, то уже через месяц модель снова научится правильно работать.
Хорошо бы на 1 неделе учиться... но данных уже маловато.
Тогда может недообучиться, меньше профита давать.. тут как бы уже вопрос подбора наверное. Иногда семплирование из текущих распределений может помочь для коротких выборок, типа как в статьях
Про шумы да. Хотя не думал об этом с точки зрения брать участки истории с шумами и без. И кстати как это понимать до обучения модели? Типа итерационно? Обучил на всем участке, посмотрел где лучше всего перформит, оставил только эти участки и обучил сначала только на этих участках? Возникает второй вопрос, который до экспериментального подтверждения можно назвать философским: что для модели лучше - сразу видеть разные участки, в т.ч. зашумленные но обучаться в среднем на более зашумленных данных или обучаться на более чистых, но, условно, ни разу не видеть зашумленные данные.
А чем плохи гигантские размеры? Помимо увеличения времени на вычисления?
Ну типа обучить на последней истории на разных длинах трейна и сравнить как модели работали на более ранней истории, если перестают работать одновременно где-то, то вот он «горизонт применимости в прошлом», с учётом последней истории. А как оно в будущем будет неизвестно, но можно определить критерии останова бота - начал хуже торговать чем на истории, например.
На длинной выборке может исчезнуть общая закономерность, которая проявляется на подвыборках. Если закономерности с подвыборок противоречат друг другу, то останется обучиться только на шум, что успешно и происходит в большинстве случаев :)
Наверное лучше валкинг форвардом, у него ООС всегда после трейна. На КВ только первый проход будет таким, остальные будут использовать для трейна данные и до, и после ООС.
Есть специальная тайм сериес КВ, у катбуста например. Но тогда датасет нельзя перемешивать. А если не перемешивать, то это похоже на подгонку под сменяющиеся участки равной длины. А если перемешивать, то обучение больше под локальные сигналы, не зависящие, грубо говоря, от смены трендов. Фиг знает что лучше :)
Наверное лучше валкинг форвардом, у него ООС всегда после трейна. На КВ только первый проход будет таким, остальные будут использовать для трейна данные и до, и после ООС.
Соглашусь с вами, если отвечаем на вопрос "Как торговать на следующем периоде?". Если же отвечаем на вопрос "Есть ли закономерность на данном отрезке истории?", то КВ вполне применима.
Maxim Dmitrievsky #: Ну типа обучить на последней истории на разных длинах трейна и сравнить как модели работали на более ранней истории, если перестают работать одновременно где-то, то вот он «горизонт применимости в прошлом», с учётом последней истории. А как оно в будущем будет неизвестно, но можно определить критерии останова бота - начал хуже торговать чем на истории, например.
На длинной выборке может исчезнуть общая закономерность, которая проявляется на подвыборках. Если закономерности с подвыборок противоречат друг другу, то останется обучиться только на шум, что успешно и происходит в большинстве случаев :)
Maxim Dmitrievsky #: Ну типа обучить на последней истории на разных длинах трейна и сравнить как модели работали на более ранней истории, если перестают работать одновременно где-то, то вот он «горизонт применимости в прошлом», с учётом последней истории.
Вот это и называется метод "перебора вариантов" или "метод тыка"...
Как Вы все понимаете, это наихудший из возможных вариантов по эффективности...
Нормальные ребята начинают с разработки ТЕОРИИ... Уже потом идут: разработка стратегии , оптимизация и тестирование...
Для авторизации и пользования сайтом MQL5.com необходимо разрешить использование файлов Сookie.
Пожалуйста, включите в вашем браузере данную настройку, иначе вы не сможете авторизоваться.
Вы вошли в аккаунт. Двухфакторная аутентификация отключена. Настройте её заново и отсканируйте новый QR-код или продолжите с отключённой двухфакторной аутентификацией.
Тогда получается, что надо обучаться на максимально коротком участке. Чтобы после смены закономерности новая модель быстрее начала работать.
Например, если обучение на 12 месяцах, то после смены закономерности через 6 месяцев новые и старые закономерности будут 50/50. И примерно через год будет обучение и торговля на новой закономерности. Т.е. почти целый год модель торговала на устаревшей закономерности и скорее всего сливала.
Если обучаться на 1 месяце, то уже через месяц модель снова научится правильно работать.
Хорошо бы на 1 неделе учиться... но данных уже маловато.
Про шумы да. Хотя не думал об этом с точки зрения брать участки истории с шумами и без. И кстати как это понимать до обучения модели? Типа итерационно? Обучил на всем участке, посмотрел где лучше всего перформит, оставил только эти участки и обучил сначала только на этих участках? Возникает второй вопрос, который до экспериментального подтверждения можно назвать философским: что для модели лучше - сразу видеть разные участки, в т.ч. зашумленные но обучаться в среднем на более зашумленных данных или обучаться на более чистых, но, условно, ни разу не видеть зашумленные данные.
А чем плохи гигантские размеры? Помимо увеличения времени на вычисления?
Наверное лучше валкинг форвардом, у него ООС всегда после трейна. На КВ только первый проход будет таким, остальные будут использовать для трейна данные и до, и после ООС.
А если не перемешивать, то это похоже на подгонку под сменяющиеся участки равной длины.
Наверное лучше валкинг форвардом, у него ООС всегда после трейна. На КВ только первый проход будет таким, остальные будут использовать для трейна данные и до, и после ООС.
Соглашусь с вами, если отвечаем на вопрос "Как торговать на следующем периоде?". Если же отвечаем на вопрос "Есть ли закономерность на данном отрезке истории?", то КВ вполне применима.
Ну типа обучить на последней истории на разных длинах трейна и сравнить как модели работали на более ранней истории, если перестают работать одновременно где-то, то вот он «горизонт применимости в прошлом», с учётом последней истории. А как оно в будущем будет неизвестно, но можно определить критерии останова бота - начал хуже торговать чем на истории, например.
Да, как-то так наверно)
Ну типа обучить на последней истории на разных длинах трейна и сравнить как модели работали на более ранней истории, если перестают работать одновременно где-то, то вот он «горизонт применимости в прошлом», с учётом последней истории.
Вот это и называется метод "перебора вариантов" или "метод тыка"...
Как Вы все понимаете, это наихудший из возможных вариантов по эффективности...
Нормальные ребята начинают с разработки ТЕОРИИ... Уже потом идут: разработка стратегии , оптимизация и тестирование...
Вот это и называется метод "перебора вариантов" или "метод тыка"...
Как Вы все понимаете, это наихудший из возможных вариантов по эффективности...
Нормальные ребята начинают с разработки ТЕОРИИ... Уже потом идут: разработка стратегии , оптимизация и тестирование...
Много теорий (возможно большинство) были разработаны как раз на основе результатов практических экспериментов.
Да, Вы правы! Но в то время ( когда "большинство" ) не было эффективных методов решения проблем, таких как ТРИЗ...
Приходилось на ощупь, с учетом внутренней чуйки, искать оптимальные пути для решения проблемы...