Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 448

 
mytarmailS:
а что есть целевая функция в вашем классификаторе? 
Там нет целевой, он работает по принципу чем дальше от среднего по всем предикторам в совокупности тем быстрее они должны к этому среднему сойтись, т.е. работает по принципу байесовского классификатора, находит такие веса что бы в совокупности предикторы давали наибольшее отклонение от среднего в каждом конкретном случае, ну и в итоге должны сойтись обратно. Ну а поскольку мы берем предикторы в стационарном виде, то понятно что среднее там 0. Если на выходе >0 то продаем если < то покупаем.
 
Maxim Dmitrievsky:

 Вообще я пришел к выводу что MLP это ужасное чудище безобразное тормозное и бесперспективное для трейдинга, тем более что оно копирует механизм работы настоящих нейронов очень примитивно и не так как на самом деле это происходит в мозгу :) Единственное из НС что нормально работает и перспективно это сверточные нс для распознавания всяких образов, а прогнозировать они вообще не умеют, а раз так то достаточно ансамбля из простых и быстрых классификаторов.

Байесовский классификатор и то лучше, но хуже чем RF.

Интересно, что я пришел прямо к противоположному выводу о "чудищах безобразных".))

Для РФ необходим подбор предикторов, что является нетривиальной задачей с учетом требования их как минимум линейной независимости.  МЛП я просто подсовываю временной ряд, а требования лин. независимости решается комитетом нескольких НС, на вход которых поданы разряженные временные ряды (аналог нескольких ТФ). Временные задержки НС, для реальной торговли, полагаю, несущественны.

Что будет с реальной ТС пока не знаю, но вроде НС вполне обучаема. См. кусок графика выхода обученной НС. Пока не могу точно сказать, насколько правильно она обучается.) Но обучается.))


 
Yuriy Asaulenko:

Интересно, чо я пришел прямо к противоположному выводу о "чудищах безобразных".))

Для РФ необходим подбор предикторов, что является нетривиальной задачей с учетом требования их как минимум линейной независимости.  МЛП я просто подсовываю временной ряд, а требования лин. независимости решается комитетом нескольких НС, на вход которых поданы разряженные временные ряды (аналог нескольких ТФ). Временные задержки НС, для реальной торговли, полагаю, несущественны.

Что будет с реальной ТС пока не знаю, но вроде НС вполне обучаема. См. кусок графика выхода обученной НС.


Да почему, просто накидать предикторов в виде осцилляторов на график и там на глаз видно линейно они зависимы или нелинейно ) Никаких цифер не нужно. НС так же может переобучиться, не сможет она там никаких супер нелинейных взаимосвязей придумать изничего, если их там изначально нет или они противоречивы

Или это нужно ядерную машину перед НС использовать, как в Jpredictor, которая повышает размерность входов полиномами и потом через SVM и еще какую-то дичь потом оставляет самые информативные, а с другой стороны из-за этих самых полиномов она может жесть как переобучиться

 
Maxim Dmitrievsky:

Да почему, просто накидать предикторов в виде осцилляторов на график и там на глаз видно линейно они зависимы или нелинейно ) Никаких цифер не нужно. НС так же может переобучиться, не сможет она там никаких супер нелинейных взаимосвязей придумать изничего, если их там изначально нет или они противоречивы

Не все так просто как кажется. То-то СанСаныч уже с год как с предикторами возится и из одного леса в другой (с пакета на пакет) скачет.

Maxim Dmitrievsky:

Или это нужно ядерную машину перед НС использовать, как в Jpredictor, которая повышает размерность входов полиномами и потом через SVM и еще какую-то дичь потом оставляет самые информативные

Линейная независимость и нелинейность никакого отношения друг к другу не имеют. Это разные понятия.  Линейная независимость
Линейная независимость — Википедия
Линейная независимость — Википедия
  • ru.wikipedia.org
имеет только одно — тривиальное — решение. − 5 ⋅ ( 1 , 0 , 0 ) + 1 ⋅ ( 5 , 0 , 0 ) = ( 0 , 0 , 0 ) . {\displaystyle -5\cdot (1,0,0)+1\cdot (5,0,0)=(0,0,0).} Пусть будет линейное пространство над полем и . называется линейно независимым множеством, если любое его конечное подмножество является линейно независимым. Конечное множество M ′...
 
Maxim Dmitrievsky:

Да почему, просто накидать предикторов в виде осцилляторов на график и там на глаз видно линейно они зависимы или нелинейно ) 

PS Кстати, МЛП, в отличии от однослойного П. по сути своей нелинейны, и вполне способны обобщать нелинейные признаки.
 
Yuriy Asaulenko:
PS Кстати, МЛП, в отличии от однослойного П. по сути своей нелинейны, и вполне способны обобщать нелинейные признаки.

могут могут, RF тоже, но от этого не меньше переобучаются
 
Maxim Dmitrievsky:
Там нет целевой, он работает по принципу чем дальше от среднего по всем предикторам в совокупности тем быстрее они должны к этому среднему сойтись, т.е. работает по принципу байесовского классификатора, находит такие веса что бы в совокупности предикторы давали наибольшее отклонение от среднего в каждом конкретном случае, ну и в итоге должны сойтись обратно. Ну а поскольку мы берем предикторы в стационарном виде, то понятно что среднее там 0. Если на выходе >0 то продаем если < то покупаем.
чет не совсем понятно, обучение с учителем или без? если с учителем то что есть бай сигнал для классификатора?
 
mytarmailS:
чет не совсем понятно, обучение с учителем или без? если с учителем то что есть бай сигнал для классификатора?
Без учителя в оптимизаторе веса подбираются, обсуждалось уже статья и пример есть, поищите в теме RNN Решетова
 
Maxim Dmitrievsky:
Вообще у НС нет никаких преимуществ перед RF, считаются долго, ошибка больше.. если хотите быстро обучать то однозначно RF+оптимизатор

По поводу скорости НС.

Специально для этого провел эксперимент на скорость. Для него взят МЛП со структурой слоев [15,15,15,8,2]. Обучающая выборка размером: вход - 15 х 10378, выход - 2 х 10378.

Обучение МЛП на этих данных 10 эпох - примерно 10 минут.

Непосредственно работа с данными - входной сигнал 15 х 10378 просчитывается менее 3 с. Т.е. ~0.0003 c/образец.

Более чем достаточно для построения ТС.)

 
Yuriy Asaulenko:

По поводу скорости НС.

Специально для этого провел эксперимент на скорость. Для него взят МЛП со структурой слоев [15,15.15,8,2]. Обучающая выборка размером: вход - 15 х 10378, выход - 2 х 10378.

Обучение МЛП на этих данных 10 эпох - примерно 10 минут.

Непосредственно работа с данными - входной сигнал 15 х 10378 просчитывается менее 3 с. Т.е. ~0.0003 c/образец.

Более чем достаточно для построения ТС.)

Что-то слишком быстро, такая должна обучаться мб час- несколько часов, по какому алгоритму L-BFGS? Я делал тоже 15 входов но всего один скрытый слой нейронов 15-20, у меня алглибовская НС обучалась... короче я не дождался и уменьшил размер входных векторов ) 3 входа с 10к вектором обучалось минут 5-10 это с одним скрытым слоем. И это не медленный backpropagation а быстрый с кол-вом эпох 1-3.  i5 проц

А представьте, даже с 10-ю минутами, что у вас нет готовой стратегии и вам нужно перебрать  в оптимизаторе N-ное кол-во предикторов, длин векторов, кол-во скрытых слоев и т.д.. что бы найти стратегию...

Причина обращения: