Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2568

ИИ - умение машины строить НС для решения возникающих составных задач :)

Изначально нужен алгоритм описывающий препятствия до достижения цели, а ИИ должен разбивать их на части и строить сети для решения - при этом конфигурацию сети определять сам.

На мой взгляд, важнее всего понимание современной финансовой математики и МО используемого в ней. Это нужно хотя бы потому что они используются всеми крупными игроками, формирующими цену.

Лекция по теме на ютубе.

День российской науки: Л.А. Меркин "Что такое финансовая математика и почему она важна"
День российской науки: Л.А. Меркин "Что такое финансовая математика и почему она важна"
  • 2021.02.08
  • www.youtube.com
Лекция доктора математики Л.А. Меркина, приуроченная к Дню российской науки в Университете "Сириус"
Aleksey Nikolayev #:

На мой взгляд, важнее всего понимание современной финансовой математики и МО используемого в ней. Это нужно хотя бы потому что они используются всеми крупными игроками, формирующими цену.

Лекция по теме на ютубе.

Да что тут понимать в финансовой матиматике и МО , нужно знать механику рынка и ее игроков

Толпа обязана проиграть в большынстве случаев, потому что ее контр агент  - "крупный игрок"

1) Нужно видеть дисбаланс покупателей и продавцов ритейлов, если например много продавцов , значит на другом конце сделки "крупный игрок" (покупатель)

Как например сейчас на евре, очень много продавцов

2) Также есть торговля в моменте против толпы, это уже торгует маркет мейкер

Видно что цена двидеться всегда против динамики позицый толпы (обратная корреляция)

Те пока толпа покупает и верит в рост, цена будет падать и наоборот..

Вот и весь рынок..   


p.s. А видео посмотрю обязательно

Aleksey Nikolayev #:

Получается, для каждого предиктора берётся правило типа 0.5<X<7.3,

Да, допустим так.

Aleksey Nikolayev #:

потом строим число всевозможных комбинаций

Нет, теперь принимаем исполнение правила неравенства за единичку и смотрим среднее значение целевой (допустим при бинарной классификации) при срабатывании правила по выборке, если изначальное среднее значение, допустим, 0,45 у выборки, а после оценки только по откликам стало 0,51, то считаем, что предиктор (его участок/квант) обладает предсказательной силой в 0,06, т.е. 6%.

Набираем множество таких предикторов с участками, которые уже являются самостоятельными бинарными предикторами и уже по ним строим модель.

Комбинировать все такие кванты со всеми (с предсказательной силой или без) - действительно не быстрое дело, но может и не лишено смысла, если это делать с базовым предиктором, на котором выявлен квант с предсказательной силой.

Aleksey Nikolayev #:

В общем, при небольшом N (зависит от размера выборки) сработать может, а при большом - будет переобучение.

Но, даже в теории это переобучение будет меньше, так как стало меньше возможных комбинаций, чем было в полной выборке.

Осталось понять, почему такие квантовые закономерности могут работать 7 лет, а потом внезапно перестать...

Кто знает есть ли тест на детерминированость тренда..
Те нужно знать действительно ли это тренд или случайная флуктуация..

Может тот же Херст ?


Тесты на наличие разных видов трендов из коробки 

R лучший!!!!

Aleksey Vyazmikin #:

Нет, теперь принимаем исполнение правила неравенства за единичку и смотрим среднее значение целевой (допустим при бинарной классификации) при срабатывании правила по выборке, если изначальное среднее значение, допустим, 0,45 у выборки, а после оценки только по откликам стало 0,51, то считаем, что предиктор (его участок/квант) обладает предсказательной силой в 0,06, т.е. 6%.

Нет особой разницы (с точки зрения комбинаторики) как конкретно это закодировано. Суть та же - в каждой строке в качестве признаков записано то, какие правила выполняются, а какие - нет. Это всегда 2^N вариантов, где N - число правил. Потом выбирается входит или нет каждое такое правило в конечный набор - это уже 2^(2^N) вариантов. Понятно, что просто формально перебрать такое множество вариантов просто нереально. Поэтому имеет смысл их как-то разумно упорядочить. Например, сначала берём все варианты, которые описываются только одним правилом, потом - только двумя и тд. Ну, или что-то в этом духе.

Aleksey Vyazmikin #:

Осталось понять, почему такие квантовые закономерности могут работать 7 лет, а потом внезапно перестать...

Рано или поздно их найдут многие другие игроки, например.

mytarmailS #:
Кто знает есть ли тест на детерминированость тренда..
Те нужно знать действительно ли это тренд или случайная флуктуация..

Может тот же Херст ?


Тесты на наличие разных видов трендов из коробки 

R лучший!!!!

В R есть хороший пакет trend.  Для линейного тренда хорошо подходит sens.slope() оттуда.

mytarmailS #:

Да что тут понимать в финансовой матиматике и МО , нужно знать механику рынка и ее игроков

Толпа обязана проиграть в большынстве случаев, потому что ее контр агент  - "крупный игрок"

1) Нужно видеть дисбаланс покупателей и продавцов ритейлов, если например много продавцов , значит на другом конце сделки "крупный игрок" (покупатель)

Как например сейчас на евре, очень много продавцов

2) Также есть торговля в моменте против толпы, это уже торгует маркет мейкер

Видно что цена двидеться всегда против динамики позицый толпы (обратная корреляция)

Те пока толпа покупает и верит в рост, цена будет падать и наоборот..

Вот и весь рынок..   


p.s. А видео посмотрю обязательно

С этим тоже есть проблемы, и немалые. Нам доступен только малый срез рынка, который не известно, насколько показателен и достоверен. Вторая картинка (общий сантимент) вообще бесполезная. Во-первых, развороты регулярно случаются на экстремумах, где казалось бы тренд "против толпы" должен был продолжаться. Во-вторых, сантимент просто повторяет цену (вверх ногами и за вычетом тренда) - переверните любой осциллятор и получите очень похожую картинку. Ну, а раз индикатор повторяет цену, значит прогнозировать его ничуть не проще, чем сам график цены, верно? Первая картинка (стакан и открытые позиции) и значение профит ратио по идее имеет больше ценности, но тоже такое... сильно под вопросом.


Aleksey Nikolayev #:

Нет особой разницы (с точки зрения комбинаторики) как конкретно это закодировано. Суть та же - в каждой строке в качестве признаков записано то, какие правила выполняются, а какие - нет. Это всегда 2^N вариантов, где N - число правил. Потом выбирается входит или нет каждое такое правило в конечный набор - это уже 2^(2^N) вариантов. Понятно, что просто формально перебрать такое множество вариантов просто нереально. Поэтому имеет смысл их как-то разумно упорядочить. Например, сначала берём все варианты, которые описываются только одним правилом, потом - только двумя и тд. Ну, или что-то в этом духе.

Возможно я плохо объясняю, но я тут хочу ещё раз подчеркнуть, что мы работаем с изначальной выборкой, которая в рамках алгоритма обучения CatBoost квантуется один раз, т.е. до пустим у нас 1000 предикторов, мы их квантовали каждый на 10 отрезков, в итоге у нас 10000 отрезков - дальше алгоритм CatBoost случайным образом выдергивает предикторы и пробегаясь по границам/квантам делает разделение/сплит, для выделения кванта, который по середине, ему надо построить 3 неравенства или создать 8 листьев, при этом 7 листьев будут говорить о мусоре, а один лист о ценной информации. Построит ли алгоритм такое дерево - так же не факт, так как есть любовь к рандому и соседний квант может попасть в лист. И пусть это только одно дерево. В моем методе достаточно будет одного неравенства - 2 листа. Если даже будут использованы все предикторы и у каждого из них будет по 1 полезному отрезку, то число комбинаций при создании модели будет значительно меньше. Но важно, что и шума будет меньше, так как не будет столько ошибочных разбиений выборок для стабилизации которых нужно строить новое дерево (принцип бустинга).

Aleksey Nikolayev #:

Рано или поздно их найдут многие другие игроки, например.

Тогда может надо как то проверить эту теорию? Согласно которой есть минимальная частота повторения преимущества, после увеличения которой происходит с большей вероятностью её исчезновение, чем продолжение существования?

К примеру измеряем каждые пол года, есть преимущество 1,5 года - считаем, что пол года ещё проработает, а если уже 2,5 года, то уже нет смысла и брать - вероятность больше, что перестанет работать.

Я в научных формулах не силен, можете подсказать, как такой расчет провести и проверить гипотезу?

Aleksey Nikolayev #:

В R есть хороший пакет trend.  Для линейного тренда хорошо подходит sens.slope() оттуда.

спасибо

vladavd #:

С этим тоже есть проблемы, и немалые. Нам доступен только малый срез рынка, который не известно, насколько показателен и достоверен. Вторая картинка (общий сантимент) вообще бесполезная. Во-первых, развороты регулярно случаются на экстремумах, где казалось бы тренд "против толпы" должен был продолжаться. Во-вторых, сантимент просто повторяет цену (вверх ногами и за вычетом тренда) - переверните любой осциллятор и получите очень похожую картинку. Ну, а раз индикатор повторяет цену, значит прогнозировать его ничуть не проще, чем сам график цены, верно? Первая картинка (стакан и открытые позиции) и значение профит ратио по идее имеет больше ценности, но тоже такое... сильно под вопросом.

ты во многих вещах заблужнаешься, слишком поверхносно и невдумчиво воспринимаешь эту информацию