Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2539

[JeeyCi]

мне кажется, тут философия проста :

(H+L)/Close. т.е. close. как самая справедливая (равновесная) на текущий(!) Момент, H/Close+L/Close, как сумма долей в промежутке времени, с итогом или +, или - т.е. up/down результат импульса... имхо

Sceptorist #:

. Вопрос у меня простой, в этом машинном обучение, "машина" так и оостанется черным ящиком? Скормили ей/ему входы/предикты и хотим получить ответ на злобу дня? 

.. ну и ответ как бы простой

Maxim Kuznetsov #:

в теории да, но вектор весов где ? или прямое+обратное преобразование координат ??

МНК он вообще почти универсальный метод, чё говорить ... ну то есть абстрактный, а чтобы работал нужна обоснованная физика процесса

.. ВМНК - взвешенный МНК (весы, например, дисперсия )... вообще, мне кажется, что всё гениальное должно быть просто --

Renat Akhtyamov #:

не знаю что они готовят

предикторы для МО скорее всего (весов касаемо)

подозреваю что составляют функцию типа

price = a1*y1+a2*y2+...aN*yN

логичная фишка в принципе

интересно что получится

только, если разбить на отрезки, скорее всего нужно каждую часть еще и на что то связанное с углом помножить

полином - для многофакторного анализа (и ваша формула - линейна!! - кстати коэф a при вашем y [хоть д.б. x] и есть угол) - ... для однофакторного - просто типичное уравнение прямой (y=kx+bias)...

и тут начинается самое интересное в дифференцировании - порядок полинома (=количество его изгибов-1 и распространение сигнала от начала обучения до финиша) -- увлекаться, конечно, не надо бы, но если реальность такова, что dy/dx=a^3x (а не лин. зависимость) и выше. -- то, мне кажется, тут уж делать нечего - брать производную от того, что есть (вроде где-то видела рекомендации по дифференцированию в зависимости от 1-х и 2-х разностей => выбор степени полинома -- не найду)... ИЛИ рассмотреть CDF и выбрасывать крайние персентили... имхо для поиска средней... или эксплуатировать их в качестве сигналов в анализе отклонений от средней... имхо... ВОТ в терминах ML выразился Maxim Dmitrievsky

+ и проблема затухающего или увеличивающегося градиента тоже всегда на повестке дня  -- тут, полагаю, и приходит на помощь - ! правильное взвешивание... хотя философия взвешивания опять же может быть своя у преверженцев "свободы выбора весов"... ненавижу борцов за свободу в способах оперирования русским языком (так они и в формулах начинают заниматься искажением реальных корреляций и причинно-следственных связей) -- правильное дифференцирование (т.е. правильных переменных) даст правильные веса, а правильная архитектура NN поможет донести значимость весов до итога обучения... имхо

p.s.

всё равно мне доли H и L от close внушают больше доверия, чем просто close... - тут в этом и вся суть - правильно настроить весы в чёрном ящике (поэтому и важно, что на входе, что на выходе) -- чтобы не получать необоснованно завышенной/заниженной дсперсии... и не потерять значимый градиент на этапе обучения - а как уже Mikhail Mishanin   высказался (пока ветка не потонула во флуде и дрязгах) - "самому важному дать выжить и эволюционировать"

в NN - почти как на Titanik'е

[Mihail Marchukajtes]

Торгую с помощью вот такого полинома и не парюсь

double decision = -0.07651082803761469 * sigmoid(x1 + x2 + x3) -0.04311207233300622 * sigmoid(x1 + x3 + x4) -0.05386865347421374 * sigmoid(x0 + x1 + x5) -0.00827465962899799 sigmoid(x1 + x2 + x4 + x5) -0.10576034451547747 * sigmoid(x4 + x6) -0.10960470278870797 * sigmoid(x0 + x2 + x3 + x5 + x6) -0.07378595451557275 * sigmoid(x0 + x1 + x2 + x4 + x5 + x6)  + 0.12026124486704332 * sigmoid(x7)  -0.06493964309873379 * sigmoid(x0 + x1 + x4 + x5 + x7)  -0.019388523137606112 * sigmoid(x1 + x2 + x4 + x5 + x7)  + 0.11097666707952629 * sigmoid(x4 + x6 + x7)  -0.0850998961499252 * sigmoid(x2 + x5 + x6 + x7)  -0.07273316247296563 * sigmoid(x0 + x4 + x8)  -0.2787231204565592 * sigmoid(x1 + x3 + x5 + x8)  -0.05990910736573329 * sigmoid(x0 + x1 + x4 + x6 + x8)  -0.0678407759220267 * sigmoid(x0 + x1 + x5 + x6 + x8)  -0.009089263426671367 * sigmoid(x0 + x2 + x3 + x4 + x7 + x8)  -0.10259720462275745 * sigmoid(1.0 + x3 + x4 + x8);

И как говорил ранее не так важен сам полином как метод его получения. Но все какие то становятся глухими когда не могут понять элементарной фразы...

[JeeyCi]

JeeyCi #:   

всё равно мне доли H и L от close внушают больше доверия, чем просто close...

сама же и дополню/опровергну:

и здесь снова та же проблема - рекоммендации здесь - доли, может, и не панацея, а вот динамический диапазон может быть совсем не "разница периода между 2мя close"

Khristian Piligrim #:
       

 Конечно, очень важно для стабильной работы и эффективного прогнозирования правильно обучать модели, а для этого, прежде всего, нужно правильно сформировать входные данные. С этой целью я вначале масштабировал входные данные по аналогии с тем, что я делал в статье «Принцип суперпозиции и интерференции финансовых инструментов», а затем задавал смещение масштабной сетки таким образов, чтобы не зависимо как меняется рынок данные находились постоянно в одном и том же динамическом диапазоне, от традиционных методов нормирования я отказался, они слишком сильно искажают данные. На следующем этапе я старался добиться того, чтобы вектор относительно которого проводилось обучение, полностью покрывался входными переменными, на рис 1. – плохое перекрытие, на рис 2. – значительно лучше, и соответственно точность обучения будет существенно выше (черная линия – вектор, относительно которого проводится обучение, остальные линии – входные сигналы).

т.е. стандартное нормирование на дисперсиюю и не особо то подходит... (

? может, в нормировочный коэф для входящих данных ещё и WMA добавить, или просто весом, - как-никак, а всё-таки отражает динамику (хоть и с запаздыватием)

p.s.

1) а может быть "динамический диапазон" - до боли прост - точка пересечения 2х MA -- важно правильно подобрать периоды... это только OTF смотрят на 50 и 200... а для анализа bigData может и более выгодные периоды MA могут найтись памятью(весами) от нейросети (при др сопутствующих факторах)... имхо

2) хотя лично мне кажется, что "динамический диапазон" - это тот/те периоды, где цена ещё была нормально распределена от Level до Level (наверно, можно сказать кластер -- сделали mark-up и снова работаем/классифицируем по весам/признакам/памяти уже определённой в рынке ранее -- до нового прихода OTF)... но как эту логику эксплуатировать в нормировании input'a - не знаю пока (кроме как просто сделать всё то же dy/dx впридачу к просто t-статистике)... плохо, конечно, что тестер стратегий сам не отбирает признаки (индюки), а оптимизация возможна лишь того, что ему подсунуть (и далеко не чистую исходную инфо)... - вот и приходится людям лезть в ML

[BillionerClub]

У вас же золотая жила топчетесь а не видите под ногами

[JeeyCi]

BillionerClub #:
У вас же золотая жила топчетесь а не видите под ногами

да понятно, что SVM позволяет линейно разделить нелинейные зависимости (только dimensionality reduction как-то подрядить надо - свои нюансы)... но во-первых, многофакторный анализ (с выводом полинома множественной регрессии) - для меня пока so-so , когда все факторы влияют друг на друга в том числе, и не известно, как библиотека делает свой feature_extraction (а нюансов в статистике очень много) ... а во-вторых подобрать правильные гиперпараметры для SVM в python - тоже ещё как-то библиотеку надо знать... многие здесь топчутся (библиотека приличная) - лишь бы нюансы, которые я описала сам процесс моделирования с помощью этой библиотеки не породил, выдавая на выходе модель с завышенными/заниженными/неверными метриками, переобученную или недообученную...

чтобы разобраться с этой библиотекой, если видишь её в первый раз, - ещё долго придётся смотреть под ноги...

по поводу "золотая" - спорно ()... я всё ещё скептически отношусь к невозможностям удерживать тренды и рано из них выскакивать из-за робота... но терпеть просадки, когда робот чего-то не заметил тоже не хочется... поэтому только качественная стат. модель будет на вес золота ещё на этапе до ML... чтобы попробовать увеличить вероятность 50/50... имхо

[JeeyCi]

JeeyCi #:
   

ИЛИ рассмотреть CDF и выбрасывать крайние персентили... имхо для поиска средней... или эксплуатировать их

вероятность попадания в хвосты PDF (что по сути производная от CDF, т.е. PDF- дифференциальная ф-я распр-я): 1-P(a<=X<=b) , где [-infinity,a] и [b,+infinity] - это хвосты распределения

[JeeyCi]

JeeyCi #:
   

1) а может быть "динамический диапазон" - до боли прост - точка пересечения 2х MA -- важно правильно подобрать периоды... это только OTF смотрят на 50 и 200... а для анализа bigData может и более выгодные периоды MA могут найтись памятью(весами) от нейросети (при др сопутствующих факторах)... имхо

оказывается, всё проще -

MA - это как бы механическое выравнивание

а нужно исп. аналитическое выравнивание (y-с крышечкой - выровненное знач-е в модели)... ну и нелинейную зависимость лучше исп-ть экспоненциальную (т.к. в тренде есть этапы замедления и ускорения), а не степенную (учитывает только ускорение)... для нелинейных зависимостей, например анализа рядов динамики (который ! м.б. лишь доп. методом в адекватном стат. исследовании, но никогда анализ динамики не становится основным методом)

[JeeyCi]

JeeyCi #:

 (вроде где-то видела рекомендации по дифференцированию в зависимости от 1-х и 2-х разностей => выбор степени полинома -- не найду)... 

как-то так (у Шмойловой в "теории статистики")

[JeeyCi]

в общем, чтобы не выскакивать из тренда раньше времени, надо как-то полноценный факторный, корреляционный и регрессионный анализ провести, и только потом провести анализ динамики на ускорение, замедление, reverse главной тенденции... и сделать это как-то силами sklearn, и только после этого ML'ом расчерчивать output на гиперплоскости bull/bear/hold-on... иначе комиссия будет кушать с депо неслабо... да и не люблю я вероятности 50/50 и даже 25/50/25... ну и адекватный money-management и risk-management

тупой набор признаков не учитывает интерференцию

[JeeyCi]

а самое настораживающее во всей этой истории то, что сначала надо доказать нормальность распределения СВ для более-менее показательной стат.модели... у меня она пока не доказывается, поэтому и дальнейшая оценка стопорится... может, и, действительно, не так уж всё и случайно (рандомно) в рынке, как подумал Piligrim (его разработчик, линк оставляла выше)