Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3474

Новый комментарий
 

Вроде спрашивал, но не помню. Попадаются такие картины.

По абсциссе количество сделок (одномоментно не больше одной). Sample в четыре раза дольше по времени, чем OOS. А количество сделок в восемь раз больше, чем на OOS.

Является ли этот перекос признаком, что картина - результат везения?

Или это говорит о том, что на Sample, как минимум, в два раза больше случайных (подгонка) сделок?
[Удален]  
fxsaber #:

Вроде спрашивал, но не помню. Попадаются такие картины.

По абсциссе количество сделок (одномоментно не больше одной). Sample в четыре раза дольше по времени, чем OOS. А количество сделок в восемь раз больше, чем на OOS.

Является ли этот перекос признаком, что картина - результат везения?

Или это говорит о том, что на Sample, как минимум, в два раза больше случайных (подгонка) сделок?
Говоря языком статистики, is и oos из похожих, но разных распределений. Стационарность не соблюдена. Это может быть как из-за действительно разных распределений, так и из-за переоптимизации (найден ложный максимум).
В машинном обучении это называется смещением. Чем оно вызвано - нужна доп. аналитика.
 
fxsaber #:

Вроде спрашивал, но не помню. Попадаются такие картины.

По абсциссе количество сделок (одномоментно не больше одной). Sample в четыре раза дольше по времени, чем OOS. А количество сделок в восемь раз больше, чем на OOS.

Является ли этот перекос признаком, что картина - результат везения?

Или это говорит о том, что на Sample, как минимум, в два раза больше случайных (подгонка) сделок?
Учитывая, что средний профит меньше, чем средний лос, это хороший признак 

Вот если бы Вы проверили на разных периодах и на разных парах, а потом подсчитать, сколько вышло подобных картин, было бы интересно
 
fxsaber #:

Вроде спрашивал, но не помню. Попадаются такие картины.

По абсциссе количество сделок (одномоментно не больше одной). Sample в четыре раза дольше по времени, чем OOS. А количество сделок в восемь раз больше, чем на OOS.

Является ли этот перекос признаком, что картина - результат везения?

Или это говорит о том, что на Sample, как минимум, в два раза больше случайных (подгонка) сделок?

Падение Recall - частое явление. Скорей всего в модели много редких правил - если используются не НС, а древовидный подход с множеством правил.

Не вижу количества сделок, но визуально два участка сопоставимы, учитывая 1/4 OOS.

Какой процент отобранных вариантов на периоде обучения (оптимизации) проходит независимый участок тестирования?

 
Ivan Butko #:
Вот если бы Вы проверили на разных периодах и на разных парах, а потом подсчитать, сколько вышло подобных картин, было бы интересно

Разные символы - разные закономерности.

 
Aleksey Vyazmikin #:

Какой процент отобранных вариантов на периоде обучения (оптимизации) проходит независимый участок тестирования?

Смогу ответить, если поясните по терминологии.

[Удален]  

Оценить результат своей оптимизации можно простым способом.

  • Заоптить ТС на разных периодах (взять лучшие по своим субъективным критериям)
  • усреднить параметры, ТС станет несмещенной
  • прогнать на всем датасете + новые данные
Уже было.


З.Ы. останется одна оптимальная ТС (с точки зрения параметров), не из чего будет выбирать и делать мозги другим по этому поводу.

 
Maxim Dmitrievsky #:

Оценить результат своей оптимизации можно простым способом.

  • Заоптить ТС на разных периодах (взять лучшие по своим субъективным критериям)
  • усреднить параметры, ТС станет несмещенной
  • прогнать на всем датасете + новые данные

Далеко не факт..

ТС две машки(примитивный но наглядный пример):

на одном участке лучшые периоды 10, 21 ,

на втором участке лучшые периоды 30, 150

на треьем 5, 145

итд..


Усредним периоды в одну ТС, получим слив

[Удален]  
mytarmailS #:

Далеко не факт..

ТС две машки(примитивный но наглядный пример):

на одном участке лучшые периоды 10, 21 ,

на втором участке лучшые периоды 30, 150

на треьем 5, 145

итд..


Усредним периоды, получим слив

Значит ТС сливная, которая запоминает историю

на новой истории работать точно не будет
[Удален]  
Понятно, что чем больше параметров у ТС и разброс их значений, тем больше оптимизаций на разных интервалах нужно сделать. Статистика, Карл, вещь упрямая!
1...346734683469347034713472347334743475347634773478347934803481...3745
Новый комментарий