Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3286

 
Maxim Dmitrievsky #:

Крутое наверное направление, разметить кошек как верблюдов и искать в этом стабильность.

Я уже привык, что любой диалог с вами заходит в ментальный тупик.

Какая разница, кошки или верблюды, если можно их оценить пользу вне обучения?

Действительно, странная логика.

 
Aleksey Vyazmikin #:

Какая разница, кошки или верблюды, если можно их оценить пользу вне обучения?

😀
 
Forester #:

По таким же соображениям использую Валкинг-форвард.
И да - сильная зависимость от размера train участка. Например на 20000 строк что-то на форварде находится, а на 5000 или на 100000 - рандом.

Если "что-то" находится, то какой у этого срок жизни за пределами обучения обычно?

 
Maxim Dmitrievsky #:
😀

Даже не знаю, что значат квадратики. Наверное, что яблочник пишет :)

 
Aleksey Vyazmikin #:

Если "что-то" находится, то какой у этого срок жизни за пределами обучения обычно?

Просто раз в неделю переобучаю модель. Может и дольше живет, не исследовал... но может и меньше и надо как СанСаныч на каждом баре переобучать (если Н1, то в принципе можно).
Для меня раз в неделю приемлемо по скорости - 5 лет за 260 переобучений примерно проходит.
 
Aleksey Vyazmikin #:

Предварительно можно сделать вывод, что действительно, успешность обучения зависит от объёма выборки. Однако, отмечу что результаты выборки "-1p1-2" сопоставимы, и даже лучше по некоторым критериям, с выборкой "-1p2-3", в то время как для выборки "0p1-2" результаты в два раза хуже по числу моделей, отвечающих заданному критерию.

Сейчас запустил выборку с перевернутой хронологией, в ней выборка train состоит из начальной выборки exam+test+train_p3, а выборка test - это  train_p2, ну а exam уже train_p1. Цель - посмотреть - можно ли на более свежих данных построить успешную модель, которая бы работала 10 лет назад.

Как думаете, какой будет результат?

Долго ждать не пришлось - результат в последнем столбце таблицы

Попробую не ангажировано прокомментировать. С одной стороны можно сказать, что изменение хронологии выборки существенно ухудшило результаты по основному критерию - числу пригодных моделей, но с другой стороны, сам факт, что нашлись такие модели говорит, что в данных есть крупицы устойчивых закономерностей. Или это рандом? Да, конечно, нужно взять другие выборки и провести похожие исследования, и только тогда делать выводы с большей уверенностью. Пока это только информация для размышления.

Объективно, данных очень много - обычно я использую для обучения кратно меньше выборки, хотя и сопоставимые с хронологическим течением. Тем печальней выглядит показатель Recall во всех экспериментах. Даже удивлён, что никто не обратил на это своё внимание. В целом повторно можно говорить о том, что стандартные метрики слабо дают представление о финансовом результате, если не используются фиксированные тейки и стопы.

Если есть идеи/пожелания, что ещё тут скомбинировать (участки выборок) с чем либо - говорите - попробую проверить, что получится.

 
Forester #:
Просто раз в неделю переобучаю модель. Может и дольше живет, не исследовал... но может и меньше и надо как СанСаныч на каждом баре переобучать (если Н1, то в принципе можно).
Для меня раз в неделю приемлемо по скорости - 5 лет за 260 переобучений примерно проходит.

Каков результат таких переобучений в совокупности?

 
Aleksey Vyazmikin #:

Каков результат таких переобучений в совокупности?

Все графики, которые последний год показывал - получены таким способом. Только ООС по Валкинг-форварду.
 
Andrey Dik #:

Макс, вот никак не пойму, зачем потешаться?

если нет предположений - промолчи, если есть - выскажи, типа "результат будет херовый".

Если смешно, то можно смеяться, а если грустно , тот рыдать.

То, что тут обсуждает  Aleksey Vyazmikin, не может вызвать предложений и нельзя оценить "хреновый - не хреновый". 

Пример, подходит человек и говорит:

 - давай отправим утюг на Луну.

Смотрим с удивлением.

А чел говорит:

 - а мы будем менять температуру утюга и доливать разное количество воды.

Вы будете реагировать " если нет предположений - промолчи, если есть - выскажи, типа "результат будет херовый"?

То что делает  leksey Vyazmikin не имеет никакого отношения к проблемам МО. Из одной оперы дернул, а ответ пытается получить из другой оперы - все пустая болтовня человека с кашей в голове.

 
Forester #:
Все графики, которые последний год показывал - получены таким способом. Только ООС по Валкинг-форварду.

Судя по картинкам тут так же низкий Recall получается, т.е. мало в чём модель уверена и очень осторожничает в прогнозах.

Причина обращения: