Библиотеки: RL GMDH - страница 4

[Maxim Dmitrievsky]

mov:

Возможно стучусь в открытую дверь, но т.к. в исходном не было...

Рекомендуют перед приведением к диапазону [0,1] предобработку:

1. удаление периодичности, выполнил в periodicityArrays() - из ряда вычитается профиль, составленный по дням недели и часу за месяц (правда для пробы сделал только для часового таймфрейма).

2.Удаление линейного тренда в linearTrendArrays() как рекомендуют a[i]=a[i]-a[i+1].

3.А вот здесь и должна быть проверка автокорреляции (пока не реализовано)

предсказательность после 1и 2 действий повысилась значительно. Код прикладываю.

Спасибо за проделанный труд, обязательно посмотрю сегодня-завтра

по поводу удаления линейного тренда - это использование приращений, в RF recursive так сделано, например. Но используются частные цен а не разницы, и происходит перебор приращений с различным лагом. То есть на вход подаются просто цены, а затем идет препроцесинг с выделнием наилучших приращений (вообще это называется последовательное выделение трендов, в литературе, здесь такая операция не дословная, но аналог). У Вас используются приращения с единичным лагом, то есть по сути вся долгосрочная информация теряется. Крупные тренды все же нужно как-то учитывать на рынке. Более того, во многих источниках по прогнозированию ВР явно указывается, что линейный тренд обязательно должен учитываться, даже просто зависимость от времени. Есть небольшая путаница в головах машинлернеров в части нормализации и стандартизации переменных для предсказания псевдостационарных процессов и для предсказания временных рядов. Они начинают применять подходы, которые не работают для задач прогнозирования ВР. В предсказании временных рядов тренд - это чуть ли не самое главное :) Возможно, есть смысл в кач-ве инпутов подавать не сам линейный тренд, а стат. характеристики за выбранный период (моменты распределений), не пробовал

for(int bf=0;bf<features;bf++) {  
     for(int bf2=bf+1;bf2<features;bf2++) {               
      for(int i=0;i<RDFpolicyMatrix.Size();i++) {   
        m[i].Set(0,RDFpolicyMatrix[i][bf]/RDFpolicyMatrix[i][bf2]);         
        m[i].Set(1,RDFpolicyMatrix[i][features]);   
        m[i].Set(2,RDFpolicyMatrix[i][features+1]); 
       }         
      CDForest::DFBuildRandomDecisionForest(m,RDFpolicyMatrix.Size(),1,2,trees,r,RDFinfo,mRDF,mRep);         
      ArrayResize(models1,ArraySize(models1)/3+1);
      models1[modelCounterInitial][0] = mRep.m_oobavgce;   
      models1[modelCounterInitial][1] = bf; 
      models1[modelCounterInitial][2] = bf2;   
      modelCounterInitial++;                     
     }  
    }

по поводу периодичности - не очень уловил мысль

не заметил больших улучшений на ООС по сравнению с базовой версией

[Oleg Mironov]

Maxim Dmitrievsky:

Есть небольшая путаница в головах машинлернеров в части нормализации и стандартизации переменных для предсказания псевдостационарных процессов и для предсказания временных рядов. Они начинают применять подходы, которые не работают для задач прогнозирования ВР. В предсказании временных рядов тренд - это чуть ли не самое главное :) Возможно, есть смысл в кач-ве инпутов подавать не сам линейный тренд, а стат. характеристики за выбранный период (моменты распределений), не пробовал

по поводу периодичности - не очень уловил мысль

не заметил больших улучшений на ООС по сравнению с базовой версией

Удаление периодичности и линейного тренда взято из: Орлов, Осминин Нестационарные временные ряды  Методы прогнозирования с примерами анализа финансовых и сырьевых рынков. 3 пункта подготовки данных взяты целиком. Возможно, это требование под рассматриваемый в книге алгоритм, но у меня результат улучшил.

Поясню, каким образом я тестирую. Берется  год со сдвигом на месяц назад. Обучение модели. Проверка модели на последнем месяце (не входившем в обучение). Возможно месяц мало, но я исхожу из того, что модель должна работать на будущий период. Больше месяца смотреть нет смысла, модель будет за этот срок пере- оптимизирована. При таком подходе мне важна прибыльность в первые дни (ну и субъективная оценка - срок, через который необходимо пере оптимизировать). При предыдущих вариантах удавалось добиться + торговли на 1-1,5 недели вперед стабильно, потом начинались горки. С использованием указанной пред- обработки, удалось добиться 2-2,5 недели в +. Именно это я назвал повышением предсказательности. Возможно мой подход не совсем статистически верен, но на мой взгляд практичен. 2 недели стабильной работы метода уже позволяют использовать в реальной торговле с пере- оптимизацией через неделю. Естественно для торгов будет для обучения использован последний период (без отступления).

[Maxim Dmitrievsky]

mov:

Удаление периодичности и линейного тренда взято из: Орлов, Осминин Нестационарные временные ряды  Методы прогнозирования с примерами анализа финансовых и сырьевых рынков. 3 пункта подготовки данных взяты целиком. Возможно, это требование под рассматриваемый в книге алгоритм, но у меня результат улучшил.

Поясню, каким образом я тестирую. Берется  год со сдвигом на месяц назад. Обучение модели. Проверка модели на последнем месяце (не входившем в обучение). Возможно месяц мало, но я исхожу из того, что модель должна работать на будущий период. Больше месяца смотреть нет смысла, модель будет за этот срок пере- оптимизирована. При таком подходе мне важна прибыльность в первые дни (ну и субъективная оценка - срок, через который необходимо пере оптимизировать). При предыдущих вариантах удавалось добиться + торговли на 1-1,5 недели вперед стабильно, потом начинались горки. С использованием указанной пред- обработки, удалось добиться 2-2,5 недели в +. Именно это я назвал повышением предсказательности. Возможно мой подход не совсем статистически верен, но на мой взгляд практичен. 2 недели стабильной работы метода уже позволяют использовать в реальной торговле с пере- оптимизацией через неделю. Естественно для торгов будет для обучения использован последний период (без отступления).

Спасибо. взгляну. Признаться, я немного запутался в том, чем же все-таки лучше кормить модель. Множественные трансформации уводят в дебри, совершенно не интуитивно

На данный момент исследую применимость линейных моделей в данном подходе

з.ы. у вас не в электронном виде?

[Oleg Mironov]

Maxim Dmitrievsky:

з.ы. у вас не в электронном виде?

К сожалению бумага. Это монография, самой в сети не нашел, но исходные научные статьи к ней есть (поиск <фамилия> нестационарные ряды), завтра постараюсь отснять главу о финансовых рынках.

[Maxim Dmitrievsky]

mov:

К сожалению бумага. Это монография, самой в сети не нашел, но исходные научные статьи к ней есть (поиск <фамилия> нестационарные ряды), завтра постараюсь отснять главу о финансовых рынках.

вот именно про удаление периодичности хотелось бы, как он\они это видят, с остальным понятно

[Oleg Mironov]

Алгоритм в разделе 6.4.2, ссылка идет на 5.2.1 конец. На всякий случай сделал обе главы целиком, извиняюсь без обработки сканов, но на работе мало свободного времени (а сканер рабочий).

[Maxim Dmitrievsky]

mov:
Алгоритм в разделе 6.4.2, ссылка идет на 5.2.1 конец. На всякий случай сделал обе главы целиком, извиняюсь без обработки сканов, но на работе мало свободного времени (а сканер рабочий).

спасибо! начал читать

[Oleg Mironov]

Maxim Dmitrievsky:

спасибо! начал читать

Извините, возможно будет полезно: Гайдышев Анализ и обработка данных Специальный справочник  2001. гл6 методы снижения размерности (книга хороша примерами на С). В сети есть pdf, приложить смог только djvu(ограничение на размер файла)

[Maxim Dmitrievsky]

Олег:
Извините, возможно будет полезно: Гайдышев Анализ и обработка данных Специальный справочник  2001. гл6 методы снижения размерности (книга хороша примерами на С). В сети есть pdf, приложить смог только djvu(ограничение на размер файла)

Да, PCA это один из вариантов решения проблемы, можно поэксперементировать. Попробовал на простом тестовом примере - по крайней мере хуже не стало, насчет лучше пока не уверен

[Maxim Dmitrievsky]

Олег:
Извините, возможно будет полезно: Гайдышев Анализ и обработка данных Специальный справочник  2001. гл6 методы снижения размерности (книга хороша примерами на С). В сети есть pdf, приложить смог только djvu(ограничение на размер файла)

https://www.mql5.com/ru/forum/86386/page1189#comment_9795331