Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1612

 

Прогнал в тестере систему за прошедшую неделю, в очередной раз убедился в том, что "помогать" ставить фильтры и т.д. приводит к тому, что усилия потраченные на обучение системы эта "помощь" приводят только к отрицательному результату и этот результат по известным и обученным данным, что говорить когда данные приходя в реальном режиме времени (сырыми). 

 
Farkhat Guzairov:

Прогнал в тестере систему за прошедшую неделю, в очередной раз убедился в том, что "помогать" ставить фильтры и т.д. приводит к тому, что усилия потраченные на обучение системы эта "помощь" приводят только к отрицательному результату и этот результат по известным и обученным данным, что говорить когда данные приходя в реальном режиме времени (сырыми). 

Нельзя костыли ставить, должна сама обучаться, как начнешь ей помогать потом не остановишься ))
 
mytarmailS:

Есть у нас два вектора переменных, текущей свечи и предыдущей ("-1")

a = "open","high","low","close","center"

b = "open-1","high-1","low-1","close-1","center-1"

переменная  "center"  ето середина свечи (хай+лов)/2  без этой переменной невозможно описать паттерн типа "ескимо" итп.  значения остальных переменных думаю объяснять не надо, они очевидны.

Итак создаем всевозможные логические комбинации (можно и не логические)

Всего две свечи, несчастные две свечи.....

Блин, я даже не знаю что сказать. Библиотеки по нейросетям стали так доступны, что люди забывают даже про здравый смысл что-ли, или что?

Это же очевидно бред - плодить сущности, когда во всех начальных мануалах по любому виду анализа написано что необходимо именно избавляться от лишних сущностей для достижения результата. 

Вы тогда ещё создайте переменные если выше на фигуру, на две, на треть и т.п., у вас и из двух свечей 1000 может получиться тогда )))

Если уж считаете что для вашей модели так важно отношение предикторов, и обязательно нужно подавать его на вход, то создайте типа свёрточного слоя, но плодить предикторы, мдааа...

 
Aleksey Mavrin:

Блин, я даже не знаю что сказать. Библиотеки по нейросетям стали так доступны, что люди забывают даже про здравый смысл что-ли, или что?

Это же очевидно бред - плодить сущности, когда во всех начальных мануалах по любому виду анализа написано что необходимо именно избавляться от лишних сущностей для достижения результата. 

Вы тогда ещё создайте переменные если выше на фигуру, на две, на треть и т.п., у вас и из двух свечей 1000 может получиться тогда )))

Если уж считаете что для вашей модели так важно отношение предикторов, и обязательно нужно подавать его на вход, то создайте типа свёрточного слоя, но плодить предикторы, мдааа...

ой мля.... дети....

Чтобы избавляться от лишних сущностей , нужно с начало понять что есть лишнее! что бы понять надо перебрать варианты ! или вы знаете другой способ ? Вы на глаз можете  из 1000 фичей претендентов   выбирать 5 значимых ?  

 
mytarmailS:

ой мля.... дети....

Чтобы избавляться от лишних сущностей , нужно с начало понять что есть лишнее! что бы понять надо перебрать варианты ! или вы знаете другой способ ? Вы на глаз можете  выбирать из 1000 фичей претендентов   5 значимых ?  

Вы же проделали большую работу, изучили кучу материала, потратили кучу времени. Ну смысл мне вас в чём либо переубеждать..

 
Aleksey Mavrin:

Вы же проделали большую работу, изучили кучу материала, потратили кучу времени. Ну смысл мне вас в чём либо переубеждать..

Если есть аргументы то с удовольствием выслушаю.

        Если аргументы объективны то с удовольствием переубежусь  у стану мудрее.

                  Если вы поняли что наговорили лишнего и решили красиво соскочить, то не получилось ))

 
mytarmailS:

Если есть аргументы то с удовольствием выслушаю.

        Если аргументы объективны то с удовольствием переубежусь  у стану мудрее.

                  Если вы поняли что наговорили лишнего и решили красиво соскочить, то не получилось ))

Да какие аргументы, если вы так делаете значит либо чего-то не понимаете, либо я.

Суть моего удивления такая - обучаемая модель, мы же тут про них говорим, должна обучаться на исходных данных.

Если в исходных данных есть скоррелированные, надо свести с нескоррелированным. А вы делаете наоборот - плодите исходные данные, напрочь закоррелированные между собой.

Вот представил пример - учим модель классифицировать оттенок цвета по 3-м цифрам - RGB. Трём циферкам, это и есть чистые исходные данные!!! При вашем подходе надо сделать типа того предикторы:

1- R 2-G 3-B - 4 Больше красный 5 -Больше зеленый 6- Больше красный чем зеленый и синий вместе .... 100500 Не настолько красный как был бы если б зелёный был настолько красный как и синий. ))

Разве модель сама не должна научиться?, у неё ведь есть исходные данные  и именно для этого она и нужна!

 
Aleksey Mavrin:

Да какие аргументы, если вы так делаете значит либо чего-то не понимаете, либо я.

Суть моего удивления такая - обучаемая модель, мы же тут про них говорим, должна обучаться на исходных данных.

Если в исходных данных есть скоррелированные, надо свести с нескоррелированным. А вы делаете наоборот - плодите исходные данные, напрочь закоррелированные между собой.

Вот представил пример - учим модель классифицировать оттенок цвета по 3-м цифрам - RGB. Трём циферкам, это и есть чистые исходные данные!!! При вашем подходе надо сделать типа того предикторы:

1- R 2-G 3-B - 4 Больше красный 5 -Больше зеленый 6- Больше красный чем зеленый и синий вместе .... 100500 Не настолько красный как был бы если б зелёный был настолько красный как и синий. ))

Разве модель сама не должна научиться?, у неё ведь есть исходные данные  и именно для этого она и нужна!

Абсолютно согласен, правильный подбор входных данных определяет обучится модель или нет, все остальное дело техники. Если на этом этапе нет понимания, то дальше двигаться бесполезно.
 
Aleksey Mavrin:

Да какие аргументы, если вы так делаете значит либо чего-то не понимаете, либо я.

Суть моего удивления такая - обучаемая модель, мы же тут про них говорим, должна обучаться на исходных данных.

Если в исходных данных есть скоррелированные, надо свести с нескоррелированным.

Вот представил пример - учим модель классифицировать оттенок цвета по 3-м цифрам - RGB. Трём циферкам, это и есть чистые исходные данные!!! При вашем подходе надо сделать типа того предикторы:

1- R 2-G 3-B - 4 Больше красный 5 -Больше зеленый 6- Больше красный чем зеленый и синий вместе .... 100500 Не настолько красный как был бы если б зелёный был настолько красный как и синий. ))

Разве модель сама не должна научиться?, у неё ведь есть исходные данные  и именно для этого она и нужна!


 А вы делаете наоборот - плодите исходные данные, напрочь закоррелированные между собой.

Может я не прав, но мне кажется что вытащить чистую закономерность можно  только разбив признаки на элементарные части (например лог. правила). Вернемся к тому же примеру со свечами

У нас есть 45 вариантов, что если чистая и единственная закономерность это 

open[-1]<low

 и все!,  больше там в этих 45 вариантах ничего нет. Я сделал перебор, выбрал  одно правило (одна фича) и пользуюсь им.

Вы предлагаете взять "исходный ряд"  потому что "сеть сама найдет"   как я понимаю в вашем случаи это будет  :

open[1:2] ; high[1:2] ; low[1:2] ; close[1:2]

Итак в сухом остатке,

у меня одна фича, чистая закономерность в виде одного правила , одного значения, без шумов

У вас 4 ряда (OHLC) по два значения итого 8 значений , + шум

Вопрос : У кого более избыточная и закоррелированая выборка получилась ?

 
mytarmailS:


 А вы делаете наоборот - плодите исходные данные, напрочь закоррелированные между собой.

Может я не прав, но мне кажется что вытащить чистую закономерность можно  только разбив признаки на элементарные части (например лог. правила). Вернемся к тому же примеру со свечами

У нас есть 45 вариантов, что если чистая и единственная закономерность это 

 и все!,  больше там в этих 45 вариантах ничего нет. Я сделал перебор, выбрал  одно правило (одна фича) и пользуюсь им.

Вы предлагаете взять "исходный ряд"  потому что "сеть сама найдет"   как я понимаю в вашем случаи это будет  :

Итак в сухом остатке,

у меня одна фича, чистая закономерность в виде одного правила , одного значения, без шумов

У вас 4 ряда (OHLC) по два значения итого 8 значений , + шум

Вопрос : У кого более избыточная и закоррелированая выборка получилась ?

1. Скорее всего вы не правы

2.3. Такого не бывает. т.к. ряд нестационарный. Вы просто подогнали модель под ряд, даже непонятно причём тут вообще МО, если вы якобы "выделили чистую закономерность",. Если бы была такая чистая закономерность, МО бы даже не выдумывали, это находится другими элементарными методами.

4. Если вы как вы говорите выделили одну фичу - у вас 100% переобученная=подогнанная, 100% слепая, не видящая ничего, и следовательно 100% "тупая" модель, уж простите за прямоту) 

З.ы. Да здравствует МО в массы! )))

Причина обращения: