Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2261

 
fxsaber:

ЗЫ Сомневаюсь, что какой-то МО сможет реинженирить такую ТС: смотрит самые похожие на текущий участки в прошлом. И если по ним статистически имеется перевес дальнейшего движения в какую-то сторону - туда и сигналим.

Ну а если перед этим для простоты делается поиск похожих участков не на ценовом ряду, а на, например, преобразованном ценовом: ЗизЗаги или бары заменяются на бинарную логику: вверх(0)/вниз(1). То задача реинжениринга для МО становится совсем сложной.

Пропустил.. такое интересно попробовать на примере сделок. 

есть 2 момента.

  • Любые преобразования цены - зигзаг и проч. это аналитический подход, на который МО, вообще-то, пофиг. Можно залить любые признаки в любом кол-ве, потом отсеять неинформативные, чтобы облегчить модель. Все зигзаги и проч- это просто другое представление одних и тех же данных.
  • МО обобщает, поэтому если дать примеров где торговать а где нет, то может сработать
Прикол в том, что вы думаете что нашли какую-то закономерность через зигзаг. Но, скорее всего, это какая-нибудь завуалированная сезонная зависимость, которую можно описать 1000 и одним способом. Ну либо иная, если это тики.

Может даже оказаться так, что МО порвет вашу ТС на ваших же данных

Но с тиками я не готов возиться, пока ноутбук не обновлю

 
Maxim Dmitrievsky:

Может даже оказаться так, что МО порвет вашу ТС на ваших же данных

Не сомневаюсь в этом. Но МО не воспроизведет ТС на основе поиска похожих ситуаций в прошлом.

 
fxsaber:

Не сомневаюсь в этом. Но МО не воспроизведет ТС на основе поиска похожих ситуаций в прошлом.

а чем она так уникальна? вы обучаете на истории, МО вытащит эти же зависимости из других признаков

вы нашли кошек и собачек каким-то там перебором, но у них есть другие признаки. Например, у кошек длинные усы

нс научится отличать по усам, а не по ушам.. что изменится

ну это индивидуально. Теоретически проблем нет.

А ну, вот пример с боксплотами из статьи. Я нашел статистические паттерны, как в случае, описанном вами. Потом обучил НС на случайных признаках торговать сезонки, и она справилась лучше. Это для понимания.

 
Maxim Dmitrievsky:

а чем она так уникальна?

Тем, что сравнительной характеристики подобия в МО не будет. Тупо данных для обучения таких не подготовить, если заранее не знаешь, на чем основана ТС.
 
fxsaber:
Тем, что сравнительной характеристики подобия в МО не будет. Тупо данных для обучения таких не подготовить, если заранее не знаешь, на чем основана ТС.

может не получиться. Но когда данные уже подготовлены, т.е. закономерность есть, тогда в каком-то там гильбертовом пространстве точки классов (например, на покупку и на продажу) хорошо разделимы, иначе быть не может. МО подберет (попытается) такие признаки, которые будут им соответствовать. В этом есть определенная магия, потому что даже не столько важно знать правильные признаки, сколько правильно разметить данные, отличить кошек от собак.

Если есть сделки с их временем, то можно проверить.

 
Maxim Dmitrievsky:

Если есть сделки с их временем, то можно проверить.

Пример был гипотетический.

 
fxsaber:

Пример был гипотетический.

Гипотетически, проблема отсутствует.  "Подобие" будет вытащено через другие признаки, потому что временной ряд тот же самый.  Практически могут быть сложности, например, кривизна рук ) 

У вас есть набор близких паттернов, которые хорошо обобщаются. Вы обобщили через корреляцию, модель обобщит через скользящее окно на истории. Похожие сущности будут сгруппированы и помечены метками купить\продать\не торговать.

похожие участки внутри модели будут выглядеть так, только в многомерном пространстве. У каждого кластера своя метка купить\продать. Это оч. простая задача. Тупо обобщение.

 
Maxim Dmitrievsky:
Если есть спецы по генеративным моделям, то можно попробовать вариант потрясти ковариационную матрицу GMM модели. Т.е. не менять среднее и дисперсию ряда, а менять ков. матрицу ГММ. На выходе должно получаться много примеров с разными св-вами

Что ты имеешь ввиду? 

просто трясти матрицу ков. то будет рандом ....

нужно знать цель - для чего трясти, какой итоговый рез. должен быть ???

 
mytarmailS:

Что ты имеешь ввиду? 

просто трясти матрицу ков. то будет рандом ....

нужно знать цель - для чего трясти, какой итоговый рез. должен быть ???

цель - профит :D

тут видишь все каких-то скальперов тиковых в маркете продавать предлагают, а у меня чисто спортивный интерес
 
Maxim Dmitrievsky:

цель - профит :D

По поводу самого подхода генерации , критика от меня )

Ты когда создаешь данные и перебираешь модели в поисках той модели которая будет работать на "новых данных" , ты понимаешь что это подгонка ?

По скольку эти "новые данные" участвуют в выборе модели , они не есть  "новые данные"... Это не очень очевидно но это так!

Нужно добавлять еще третью екзаменационную выборку , которая вообще никаким боком нигде не участвовала , ты такое делал?


По поводу ковариации, я могу "потрясти" но я не експерт в ГММ

вот у меня фейковая матрица  (типа признаки)

XX
     [,1] [,2] [,3] [,4] [,5] [,6] [,7] [,8] [,9] [,10]
[1,]  0.7 -0.2  0.0 -1.7 -2.6  1.3 -0.4  0.9  0.4  -1.6
[2,] -0.7 -0.8 -1.4  1.5 -1.1 -0.1 -0.6 -0.4  1.0   0.2
[3,] -0.3  0.5  2.1  2.4  0.8 -0.3  1.3  1.3  0.2   0.4
[4,]  0.0  0.1 -0.1 -1.8 -0.4 -0.6  0.9  0.7 -1.2   0.9
[5,]  1.0 -0.6 -0.5  0.0 -0.3  1.2  2.3 -1.9  0.3   1.4

создал модель ГММ

вот выход модели

Model$parameters
$pro
[1] 0.2 0.2 0.4 0.2

$mean
               [,1] [,2]  [,3]           [,4]
 [1,]   7.00000e-01 -0.7 -0.15   1.000000e+00
 [2,]  -2.00000e-01 -0.8  0.30  -6.000000e-01
 [3,] -7.41241e-145 -1.4  1.00  -5.000000e-01
 [4,]  -1.70000e+00  1.5  0.30 -8.061356e-177
 [5,]  -2.60000e+00 -1.1  0.20  -3.000000e-01
 [6,]   1.30000e+00 -0.1 -0.45   1.200000e+00
 [7,]  -4.00000e-01 -0.6  1.10   2.300000e+00
 [8,]   9.00000e-01 -0.4  1.00  -1.900000e+00
 [9,]   4.00000e-01  1.0 -0.50   3.000000e-01
[10,]  -1.60000e+00  0.2  0.65   1.400000e+00

$variance
$variance$modelName
[1] "EEI"

$variance$d
[1] 10

$variance$G
[1] 4

$variance$sigma
, , 1

       [,1]  [,2]  [,3]  [,4]  [,5]  [,6]  [,7]  [,8]  [,9] [,10]
 [1,] 0.009 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [2,] 0.000 0.016 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [3,] 0.000 0.000 0.484 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [4,] 0.000 0.000 0.000 1.764 0.000 0.000 0.000 0.000 0.000 0.000
 [5,] 0.000 0.000 0.000 0.000 0.144 0.000 0.000 0.000 0.000 0.000
 [6,] 0.000 0.000 0.000 0.000 0.000 0.009 0.000 0.000 0.000 0.000
 [7,] 0.000 0.000 0.000 0.000 0.000 0.000 0.016 0.000 0.000 0.000
 [8,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.036 0.000 0.000
 [9,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.196 0.000
[10,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.025

, , 2

       [,1]  [,2]  [,3]  [,4]  [,5]  [,6]  [,7]  [,8]  [,9] [,10]
 [1,] 0.009 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [2,] 0.000 0.016 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [3,] 0.000 0.000 0.484 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [4,] 0.000 0.000 0.000 1.764 0.000 0.000 0.000 0.000 0.000 0.000
 [5,] 0.000 0.000 0.000 0.000 0.144 0.000 0.000 0.000 0.000 0.000
 [6,] 0.000 0.000 0.000 0.000 0.000 0.009 0.000 0.000 0.000 0.000
 [7,] 0.000 0.000 0.000 0.000 0.000 0.000 0.016 0.000 0.000 0.000
 [8,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.036 0.000 0.000
 [9,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.196 0.000
[10,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.025

, , 3

       [,1]  [,2]  [,3]  [,4]  [,5]  [,6]  [,7]  [,8]  [,9] [,10]
 [1,] 0.009 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [2,] 0.000 0.016 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [3,] 0.000 0.000 0.484 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [4,] 0.000 0.000 0.000 1.764 0.000 0.000 0.000 0.000 0.000 0.000
 [5,] 0.000 0.000 0.000 0.000 0.144 0.000 0.000 0.000 0.000 0.000
 [6,] 0.000 0.000 0.000 0.000 0.000 0.009 0.000 0.000 0.000 0.000
 [7,] 0.000 0.000 0.000 0.000 0.000 0.000 0.016 0.000 0.000 0.000
 [8,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.036 0.000 0.000
 [9,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.196 0.000
[10,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.025

, , 4

       [,1]  [,2]  [,3]  [,4]  [,5]  [,6]  [,7]  [,8]  [,9] [,10]
 [1,] 0.009 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [2,] 0.000 0.016 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [3,] 0.000 0.000 0.484 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [4,] 0.000 0.000 0.000 1.764 0.000 0.000 0.000 0.000 0.000 0.000
 [5,] 0.000 0.000 0.000 0.000 0.144 0.000 0.000 0.000 0.000 0.000
 [6,] 0.000 0.000 0.000 0.000 0.000 0.009 0.000 0.000 0.000 0.000
 [7,] 0.000 0.000 0.000 0.000 0.000 0.000 0.016 0.000 0.000 0.000
 [8,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.036 0.000 0.000
 [9,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.196 0.000
[10,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.025


$variance$Sigma
       [,1]  [,2]  [,3]  [,4]  [,5]  [,6]  [,7]  [,8]  [,9] [,10]
 [1,] 0.009 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [2,] 0.000 0.016 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [3,] 0.000 0.000 0.484 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [4,] 0.000 0.000 0.000 1.764 0.000 0.000 0.000 0.000 0.000 0.000
 [5,] 0.000 0.000 0.000 0.000 0.144 0.000 0.000 0.000 0.000 0.000
 [6,] 0.000 0.000 0.000 0.000 0.000 0.009 0.000 0.000 0.000 0.000
 [7,] 0.000 0.000 0.000 0.000 0.000 0.000 0.016 0.000 0.000 0.000
 [8,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.036 0.000 0.000
 [9,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.196 0.000
[10,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.025

$variance$scale
[1] 0.05824961

$variance$shape
 [1]  0.1545075  0.2746800  8.3090689 30.2834661  2.4721197  0.1545075  0.2746800
 [8]  0.6180299  3.3648296  0.4291874


$Vinv
NULL

Что есть матрица ковариации ?

Причина обращения: