Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2261

[Удален]
fxsaber:

Не сомневаюсь в этом. Но МО не воспроизведет ТС на основе поиска похожих ситуаций в прошлом.

а чем она так уникальна? вы обучаете на истории, МО вытащит эти же зависимости из других признаков

вы нашли кошек и собачек каким-то там перебором, но у них есть другие признаки. Например, у кошек длинные усы

нс научится отличать по усам, а не по ушам.. что изменится

ну это индивидуально. Теоретически проблем нет.

А ну, вот пример с боксплотами из статьи. Я нашел статистические паттерны, как в случае, описанном вами. Потом обучил НС на случайных признаках торговать сезонки, и она справилась лучше. Это для понимания.

Maxim Dmitrievsky:

а чем она так уникальна?

Тем, что сравнительной характеристики подобия в МО не будет. Тупо данных для обучения таких не подготовить, если заранее не знаешь, на чем основана ТС.
[Удален]
fxsaber:
Тем, что сравнительной характеристики подобия в МО не будет. Тупо данных для обучения таких не подготовить, если заранее не знаешь, на чем основана ТС.

может не получиться. Но когда данные уже подготовлены, т.е. закономерность есть, тогда в каком-то там гильбертовом пространстве точки классов (например, на покупку и на продажу) хорошо разделимы, иначе быть не может. МО подберет (попытается) такие признаки, которые будут им соответствовать. В этом есть определенная магия, потому что даже не столько важно знать правильные признаки, сколько правильно разметить данные, отличить кошек от собак.

Если есть сделки с их временем, то можно проверить.

Maxim Dmitrievsky:

Если есть сделки с их временем, то можно проверить.

Пример был гипотетический.

[Удален]
fxsaber:

Пример был гипотетический.

Гипотетически, проблема отсутствует.  "Подобие" будет вытащено через другие признаки, потому что временной ряд тот же самый.  Практически могут быть сложности, например, кривизна рук ) 

У вас есть набор близких паттернов, которые хорошо обобщаются. Вы обобщили через корреляцию, модель обобщит через скользящее окно на истории. Похожие сущности будут сгруппированы и помечены метками купить\продать\не торговать.

похожие участки внутри модели будут выглядеть так, только в многомерном пространстве. У каждого кластера своя метка купить\продать. Это оч. простая задача. Тупо обобщение.

Maxim Dmitrievsky:
Если есть спецы по генеративным моделям, то можно попробовать вариант потрясти ковариационную матрицу GMM модели. Т.е. не менять среднее и дисперсию ряда, а менять ков. матрицу ГММ. На выходе должно получаться много примеров с разными св-вами

Что ты имеешь ввиду? 

просто трясти матрицу ков. то будет рандом ....

нужно знать цель - для чего трясти, какой итоговый рез. должен быть ???

[Удален]
mytarmailS:

Что ты имеешь ввиду? 

просто трясти матрицу ков. то будет рандом ....

нужно знать цель - для чего трясти, какой итоговый рез. должен быть ???

цель - профит :D

тут видишь все каких-то скальперов тиковых в маркете продавать предлагают, а у меня чисто спортивный интерес
Maxim Dmitrievsky:

цель - профит :D

По поводу самого подхода генерации , критика от меня )

Ты когда создаешь данные и перебираешь модели в поисках той модели которая будет работать на "новых данных" , ты понимаешь что это подгонка ?

По скольку эти "новые данные" участвуют в выборе модели , они не есть  "новые данные"... Это не очень очевидно но это так!

Нужно добавлять еще третью екзаменационную выборку , которая вообще никаким боком нигде не участвовала , ты такое делал?


По поводу ковариации, я могу "потрясти" но я не експерт в ГММ

вот у меня фейковая матрица  (типа признаки)

XX
     [,1] [,2] [,3] [,4] [,5] [,6] [,7] [,8] [,9] [,10]
[1,]  0.7 -0.2  0.0 -1.7 -2.6  1.3 -0.4  0.9  0.4  -1.6
[2,] -0.7 -0.8 -1.4  1.5 -1.1 -0.1 -0.6 -0.4  1.0   0.2
[3,] -0.3  0.5  2.1  2.4  0.8 -0.3  1.3  1.3  0.2   0.4
[4,]  0.0  0.1 -0.1 -1.8 -0.4 -0.6  0.9  0.7 -1.2   0.9
[5,]  1.0 -0.6 -0.5  0.0 -0.3  1.2  2.3 -1.9  0.3   1.4

создал модель ГММ

вот выход модели

Model$parameters
$pro
[1] 0.2 0.2 0.4 0.2

$mean
               [,1] [,2]  [,3]           [,4]
 [1,]   7.00000e-01 -0.7 -0.15   1.000000e+00
 [2,]  -2.00000e-01 -0.8  0.30  -6.000000e-01
 [3,] -7.41241e-145 -1.4  1.00  -5.000000e-01
 [4,]  -1.70000e+00  1.5  0.30 -8.061356e-177
 [5,]  -2.60000e+00 -1.1  0.20  -3.000000e-01
 [6,]   1.30000e+00 -0.1 -0.45   1.200000e+00
 [7,]  -4.00000e-01 -0.6  1.10   2.300000e+00
 [8,]   9.00000e-01 -0.4  1.00  -1.900000e+00
 [9,]   4.00000e-01  1.0 -0.50   3.000000e-01
[10,]  -1.60000e+00  0.2  0.65   1.400000e+00

$variance
$variance$modelName
[1] "EEI"

$variance$d
[1] 10

$variance$G
[1] 4

$variance$sigma
, , 1

       [,1]  [,2]  [,3]  [,4]  [,5]  [,6]  [,7]  [,8]  [,9] [,10]
 [1,] 0.009 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [2,] 0.000 0.016 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [3,] 0.000 0.000 0.484 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [4,] 0.000 0.000 0.000 1.764 0.000 0.000 0.000 0.000 0.000 0.000
 [5,] 0.000 0.000 0.000 0.000 0.144 0.000 0.000 0.000 0.000 0.000
 [6,] 0.000 0.000 0.000 0.000 0.000 0.009 0.000 0.000 0.000 0.000
 [7,] 0.000 0.000 0.000 0.000 0.000 0.000 0.016 0.000 0.000 0.000
 [8,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.036 0.000 0.000
 [9,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.196 0.000
[10,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.025

, , 2

       [,1]  [,2]  [,3]  [,4]  [,5]  [,6]  [,7]  [,8]  [,9] [,10]
 [1,] 0.009 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [2,] 0.000 0.016 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [3,] 0.000 0.000 0.484 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [4,] 0.000 0.000 0.000 1.764 0.000 0.000 0.000 0.000 0.000 0.000
 [5,] 0.000 0.000 0.000 0.000 0.144 0.000 0.000 0.000 0.000 0.000
 [6,] 0.000 0.000 0.000 0.000 0.000 0.009 0.000 0.000 0.000 0.000
 [7,] 0.000 0.000 0.000 0.000 0.000 0.000 0.016 0.000 0.000 0.000
 [8,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.036 0.000 0.000
 [9,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.196 0.000
[10,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.025

, , 3

       [,1]  [,2]  [,3]  [,4]  [,5]  [,6]  [,7]  [,8]  [,9] [,10]
 [1,] 0.009 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [2,] 0.000 0.016 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [3,] 0.000 0.000 0.484 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [4,] 0.000 0.000 0.000 1.764 0.000 0.000 0.000 0.000 0.000 0.000
 [5,] 0.000 0.000 0.000 0.000 0.144 0.000 0.000 0.000 0.000 0.000
 [6,] 0.000 0.000 0.000 0.000 0.000 0.009 0.000 0.000 0.000 0.000
 [7,] 0.000 0.000 0.000 0.000 0.000 0.000 0.016 0.000 0.000 0.000
 [8,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.036 0.000 0.000
 [9,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.196 0.000
[10,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.025

, , 4

       [,1]  [,2]  [,3]  [,4]  [,5]  [,6]  [,7]  [,8]  [,9] [,10]
 [1,] 0.009 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [2,] 0.000 0.016 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [3,] 0.000 0.000 0.484 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [4,] 0.000 0.000 0.000 1.764 0.000 0.000 0.000 0.000 0.000 0.000
 [5,] 0.000 0.000 0.000 0.000 0.144 0.000 0.000 0.000 0.000 0.000
 [6,] 0.000 0.000 0.000 0.000 0.000 0.009 0.000 0.000 0.000 0.000
 [7,] 0.000 0.000 0.000 0.000 0.000 0.000 0.016 0.000 0.000 0.000
 [8,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.036 0.000 0.000
 [9,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.196 0.000
[10,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.025


$variance$Sigma
       [,1]  [,2]  [,3]  [,4]  [,5]  [,6]  [,7]  [,8]  [,9] [,10]
 [1,] 0.009 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [2,] 0.000 0.016 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [3,] 0.000 0.000 0.484 0.000 0.000 0.000 0.000 0.000 0.000 0.000
 [4,] 0.000 0.000 0.000 1.764 0.000 0.000 0.000 0.000 0.000 0.000
 [5,] 0.000 0.000 0.000 0.000 0.144 0.000 0.000 0.000 0.000 0.000
 [6,] 0.000 0.000 0.000 0.000 0.000 0.009 0.000 0.000 0.000 0.000
 [7,] 0.000 0.000 0.000 0.000 0.000 0.000 0.016 0.000 0.000 0.000
 [8,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.036 0.000 0.000
 [9,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.196 0.000
[10,] 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.025

$variance$scale
[1] 0.05824961

$variance$shape
 [1]  0.1545075  0.2746800  8.3090689 30.2834661  2.4721197  0.1545075  0.2746800
 [8]  0.6180299  3.3648296  0.4291874


$Vinv
NULL

Что есть матрица ковариации ?

[Удален]
mytarmailS:

По поводу самого подхода генерации , критика от меня )

Ты когда создаешь данные и перебираешь модели в поисках той модели которая будет работать на "новых данных" , ты понимаешь что это подгонка ?

По скольку эти "новые данные" участвуют в выборе модели , они не есть  "новые данные"... Это не очень очевидно но это так!

Нужно добавлять еще третью екзаменационную выборку , которая вообще никаким боком нигде не участвовала , ты такое делал?


По поводу ковариации, я могу "потрясти" но я не експерт в ГММ

вот у меня фейковая матрица  (типа признаки)

создал модель ГММ

вот выход модели

это матрица ковариации ?

на 3-й проверял, ага

лучше центроиды кластеров трясти. Т.е. средние (means), каждое значение. В небольшом диапазоне, где каждое значение это центр норм. распр. После каждой перетряски добавлять семплов.

Да это плохой подход, не заморачивайся. Лучше трясти средние ценовых приращений, так четче, но дольше

Maxim Dmitrievsky:

 Лучше трясти средние ценовых приращений, так четче, но дольше

А в чем принципиальная разница?