Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3369

[СанСаныч Фоменко]

Bogard_11 #:

Осталось совсем чуть чуть, формализовать эти 150 паттернов до одного общего. Если есть А и есть В, то С придет в определенное время в такую-то уточку, если не пришли, время и точка будут другие. Там всего-то три разных варианта развития С. Все решает ВРЕМЯ! И это спокойно прорабатывается сперва ручками, а далее можно и в робота запихнуть, если есть желание.

P.S. - мало того, размер А уже дает определенные уровни по откату В (очень часто люфт не превышает 1-3 пунктов). Так же и В заранее сигналит о ценовых уровнях С. Везде сплошная математика.

Как пример, ручной советник, считает автоматом уровни от интересующего нас движения. Т.е. натягиваем на нужную нам волну, и будущее как бы уже обозначено.

Ничего не надо формализовывать - все сделали за Вас.

[СанСаныч Фоменко]

Forester #:

Скорее путь к каждому листу, ответ которого превышает ваш порог для открытия сделки является паттерном.
Например:
1-й сплит: дельта 40 бара с текущим = 0,
2-й сплит: 30 бара=100,
3-й сплит: 20 бара =50,
4-й сплит: 10 бара 100,
5-й сплит: 1 бара = 0.
Это 2 вершины с впадиной. Паттерн? Да. Путь к 1 листу его описывает.

Если у вас в дереве 20 листьев превышают порог по которому торгуете, то у вас в дереве 20 паттернов, которые вы используете. Менее успешные листья - тоже описывают паттерны, но они со случайным/проигрышным исходом.
Другие 100 деревьев могут использовать другие фичи/бары с др значениями сплитов.
Лес усреднит (сложит и поделит на кол-во) ответы всех деревьев, получим среднее мнение о ситуации.
Буст просто сложит с весовым/уточняющим коэффициентом.

Дерево - это дерево и их, как помнится, можно даже распечатать.

А вот с листьями дело темное. Именно на уровне листьев алгоритм вместе с ручками проектировщика ищет баланс между ошибкой классификации и смещением. Можно задать настолько большую глубину деревьев, что они в точности опишут входной набор - переобучение или сверх подгонка. А проблема в том, что нужно в будущем, в котором мы не знаем входного набора, получить классификацию с минимальной ошибкой. Листья они конечно конечные, но должны быть не совсем "конечные", а примерные. Поэтому паттерн - это дерево.

[Aleksei Kuznetsov]

СанСаныч Фоменко #:

Дерево - это дерево и их, как помнится, можно даже распечатать.

А вот с листьями дело темное. Именно на уровне листьев алгоритм вместе с ручками проектировщика ищет баланс между ошибкой классификации и смещением. Можно задать настолько большую глубину деревьев, что они в точности опишут входной набор - переобучение или сверх подгонка. А проблема в том, что нужно в будущем, в котором мы не знаем входного набора, получить классификацию с минимальной ошибкой. Листья они конечно конечные, но должны быть не совсем "конечные", а примерные. Поэтому паттерн - это дерево.

Не согласен. Я привел пример листа глубиной 5 (лист получен через 5 сплитов и это паттерн). Если вы получите лист через 200 сплитов, то это даст вам переобученный паттерн, который будет плохо работать на новых данных. Но паттерном от этого он не перестанет быть. Дерево - набор паттернов.

[СанСаныч Фоменко]

Forester #:

Не согласен. Я привел пример листа глубиной 5 (лист получен через 5 сплитов и это паттерн). Если вы получите лист через 200 сплитов, то это даст вам переобученный паттерн, который будет плохо работать на новых данных. Но паттерном от этого он не перестанет быть. Дерево - набор паттернов.

Начнем от печки.

Я рассматриваю два варианта деревьев: типа бэггинга и бустинга (rf, ada).

Любой из этих достаточно большого набора алгоритмов рассматривает входные данные ПОСТРОЧНО, без обращения к соседним строкам. именно поэтому набор для обучения создается путем случайной выборки строк.

В пределах одно строки ведется подбор значений предикторов, который позволит с наибольшей вероятностью предсказать класс, указанный целевой переменной (учителем).

Комбинацию некоторого количества предикторов из набора входных предикторов и их значений в одной строке справедливо назвать паттерном. 

[Aleksei Kuznetsov]

СанСаныч Фоменко #:

В пределах одно строки ведется подбор значений предикторов, который позволит с наибольшей вероятностью предсказать класс, указанный целевой переменной (учителем).

Комбинацию некоторого количества предикторов из набора входных предикторов и их значений в одной строке справедливо назвать паттерном. 

Неправильно печку понимаете. Похоже, что никогда код построения дерева не смотрели... В пределах одной строки там нет никаких операций вообще!!, только с наборами (с полными или с батчами).

Если коротко:
Переданный в обучение случайный/полный набор строк, сортируется по очереди по каждому предиктору/столбцу. Проверяются разные сплиты по нему (посередине/по процентилям/рандомно), считается статистика каждому, выбирается лучший сплит, для всего полученного набора строк, а не для одной/каждой строки, как вы предположили.
По лучшему сплиту, набор строк делится на 2 набора, затем каждый снова сортируется и выбирается лучший сплит для каждой из частей и т.д. до достижения правила остановки (по глубине, по числу примеров с строке и т.п.)

Подробнее можете в редакторе посмотреть, файл у вас есть:
\MQL5\Include\Math\Alglib\dataanalysis.mqh
функция ClassifierSplit() и та из которой она вызывается.
За пару часов разберетесь и не будете про поиск предикторов по одной строке рассказывать.

[Bogard_11]

СанСаныч Фоменко #:

Ничего не надо формализовывать - все сделали за Вас.

И какова точность вашего робота на промежутке плюс минус пару тройку часов в будущее? Я про точку разворота, который рассчитает ваш ИИ в будущее. С погрешностью плюс минус 5-10 пипсов внутри дня на том же фунт-доллар, и погрешностью +-1-2 бара на м5.

И ваш ИИ сможет вовремя понять что модель (паттерн) пошла допустим не по цене, а по времени? А значит сработает не первая, а вторая или третья расчетная точка. :)

Кодеры как дети, если кто-то усомниться в возможностях компа (типа машина все найдет), сразу губки надувают и обижаются. ;) И никто догнать не может, что вы никогда не увидите, почему вам не удается найти 100% рабочий алгоритм. А всё потому, что есть одна маленькая незаметная деталька, именно она дает сигнал, что пропорции паттерна в будущее сместятся на определенную величину. Но вы же Хении и Боги кода, не барское это дело, кое в чем ковыряться (поискать все руками, считая на бумажке или калькуляторе). Проще тупо закодить какую то фигню на входе, получить фигню на выходе, и дальше попытаться все это оптимизировать.

Четкая логическая математическая система описана более 100 лет назад (работает до сих пор как часики). И с точки зрения алгебры, и с точки зрения геометрии. Но изобретателей собственного лисапеда всё ещё с избытком....

[mytarmailS]

Bogard_11 #:

Четкая логическая математическая система описана более 100 лет назад (работает до сих пор как часики). И с точки зрения алгебры, и с точки зрения геометрии. Но изобретателей собственного лисапеда всё ещё с избытком....

Так покажыте свою торговлю.. 

К чему все эти громкие фразы.. 

И посмотрим как ваша ТС работает по сто летней теории которая как часики.. 

Ну ну.. 

[[Удален]]

mytarmailS #:
Так покажыте свою торговлю.. 

К чему все эти громкие фразы.. 

И посмотрим как ваша ТС работает по сто летней теории которая как часики.. 

Ну ну.. 

От таких вопросов у всех начнется головокружение.

Тут как в школе.

Начинать нужно из далека и простых вопросов.

А на какой паре торгуете?

А покажите последнюю сделку, вход выход со всеми параметрами.

А далее, сколько сделок в день совершаете и в этом месте наступает пауза.

P.Z.

Более двух вопросов задавать не стоит.

Можно обидеть мастеров. А вдруг и вы так начнёте делать?

P.Z.

Болею за Спартак.

[Aleksei Kuznetsov]

Forester #:

Неправильно печку понимаете. Похоже, что никогда код построения дерева не смотрели... В пределах одной строки там нет никаких операций вообще!!, только с наборами (с полными или с батчами).

Если коротко:
Переданный в обучение случайный/полный набор строк, сортируется по очереди по каждому предиктору/столбцу. Проверяются разные сплиты по нему (посередине/по процентилям/рандомно), считается статистика каждому, выбирается лучший сплит, для всего полученного набора строк, а не для одной/каждой строки, как вы предположили.
По лучшему сплиту, набор строк делится на 2 набора, затем каждый снова сортируется и выбирается лучший сплит для каждой из частей и т.д. до достижения правила остановки (по глубине, по числу примеров с строке и т.п.)

Подробнее можете в редакторе посмотреть, файл у вас есть:
\MQL5\Include\Math\Alglib\dataanalysis.mqh
функция ClassifierSplit() и та из которой она вызывается.
За пару часов разберетесь и не будете про поиск предикторов по одной строке рассказывать.

Тут  понятнее будет, код лаконичнее и с комментариями https://habr.com/ru/companies/vk/articles/438560/

1. Класс RegressionTree()

[СанСаныч Фоменко]

Forester #:

Неправильно печку понимаете. Похоже, что никогда код построения дерева не смотрели... В пределах одной строки там нет никаких операций вообще!!, только с наборами (с полными или с батчами).

Если коротко:
Переданный в обучение случайный/полный набор строк, сортируется по очереди по каждому предиктору/столбцу. Проверяются разные сплиты по нему (посередине/по процентилям/рандомно), считается статистика каждому, выбирается лучший сплит, для всего полученного набора строк, а не для одной/каждой строки, как вы предположили.
По лучшему сплиту, набор строк делится на 2 набора, затем каждый снова сортируется и выбирается лучший сплит для каждой из частей и т.д. до достижения правила остановки (по глубине, по числу примеров с строке и т.п.)

Подробнее можете в редакторе посмотреть, файл у вас есть:
\MQL5\Include\Math\Alglib\dataanalysis.mqh
функция ClassifierSplit() и та из которой она вызывается.
За пару часов разберетесь и не будете про поиск предикторов по одной строке рассказывать.

Вы правы на счет многих строк.

Вернемся к началу: что такое паттерн в случайном лесе?

Это одно дерево. Вот пример одного такого дерева из RF:

    left daughter right daughter split var split point status prediction
1               2              3         2  0.34154125      1          0
2               4              5         2  0.28238475      1          0
3               6              7         4  0.37505155      1          0
4               0              0         0  0.00000000     -1          2
5               8              9         5  0.64235664      1          0
6               0              0         0  0.00000000     -1          2
7              10             11         1  0.45438075      1          0
8              12             13         1  0.46271469      1          0
9              14             15         3  0.25803691      1          0
10             16             17         2  0.51942328      1          0
11             18             19         1  0.48839881      1          0
12             20             21         3  0.45243581      1          0
13              0              0         0  0.00000000     -1          2
14              0              0         0  0.00000000     -1          2
15             22             23         6  0.62789488      1          0
16             24             25         2  0.34224983      1          0
17             26             27         4  0.53845361      1          0
18             28             29         3  0.39207978      1          0
19             30             31         3  0.03596312      1          0
20             32             33         7  0.49380156      1          0
21              0              0         0  0.00000000     -1          2
22              0              0         0  0.00000000     -1          2
23             34             35         6  0.76472904      1          0
24              0              0         0  0.00000000     -1          1
25              0              0         0  0.00000000     -1          2
26             36             37         5  0.87588550      1          0
27             38             39         1  0.31089209      1          0
28             40             41         2  0.39193398      1          0
29             42             43         1  0.47068628      1          0
30             44             45         7  0.76420940      1          0
31             46             47         2  0.38380954      1          0

 [ reached getOption("max.print") -- omitted 185 rows ]

Всего строк = 166+185! Все не влезли

В моей модели таких деревьев 150

split var - это номер переменной, всего их в модели 8

split point - лучшее значение конкретной переменной, которое использовалось для разделения.