Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3150

Новый комментарий
 
mytarmailS #:
Во первых это не обучение, а поиск правил.
Если правила найдены, какой смысл искать те же правила в тех же данных ещё раз? 

Во вторых, вы всегда можете делать то что делали раньше но надеяться на другой результат

Всегда же есть какие-то метапараметры, которые влияют на результат. Размер окна истории, например, и что угодно ещё. Самое худшее, что можно сделать с метапараметрами, это игнорировать их существование, просто беря их значение с потолка.

Вспомнилось высказывание fxsaber'а, что иногда полезно вообще любую константу в алгоритме ТС воспринимать как параметр оптимизации.

 
Aleksey Nikolayev #:

Всегда же есть какие-то метапараметры, которые влияют на результат. Размер окна истории, например, и что угодно ещё. Самое худшее, что можно сделать с метапараметрами, это игнорировать их существование, просто беря их значение с потолка.

Вспомнилось высказывание fxsaber'а, что иногда полезно вообще любую константу в алгоритме ТС воспринимать как параметр оптимизации.

размер окна истории это как раз большое ограничение для класических МО с табличными данными

АС (асоц. правила)  как раз не страдают такой болячкой, они прекрасно переваривают неструктурированые данные , более того каждое наблюдение может быть произвольного размера.

А само "окно видиния" (окно истории) может быть ограничено только выч. мощьностями.  ну или здрввым смыслом.


Так что ваш пример с  Размер окна истории  это как раз голос за АС и против МО.



Давайте еще какие то аргументы, мне интересно , может я чего то действительно не учел.И еще вопрос , на сколько вы в теме АС ?


==========================================================================

Создадим маленький макет (модель) данных с пятью наблюдениями

[[1]]
 [1] "A"    "B"    "."    "."    "."    "."    "C"    "."    "."    "."    "."    "."    "SELL"

[[2]]
 [1] "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "A"    "."    "."    "B"    "."    "."    "."    "C"    "."    "."   
[21] "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "SELL"

[[3]]
 [1] "."    "."    "."    "."    "."    "."    "."    "."    "."    "A"    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."   
[21] "B"    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."   
[41] "."    "SELL"

[[4]]
 [1] "."    "."    "."    "."    "A"    "."    "."    "."    "B"    "."    "."    "."    "."    "."    "C"    "SELL"

[[5]]
 [1] "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."   
[21] "."    "."    "."    "."    "A"    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "."    "B"    "."    "."    "."   
[41] "C"    "."    "."    "."    "."    "SELL"

Наблюдения - пускать одно наблюдение это один день котировок м5

"."  обозначим как некий шум в наблюдениях (какие то события которые нам не интересны)

"А"  "В"  "С" ---> "SELL"    Это последовательность событий которые в результате привели к таргету "СЕЛЛ"


все что вы подаете это последние 5 свечей в МО и таргет

вот так :

все для того чтоб данные были в акуратном табличном виде.

Ну и как найдет АМО закономерность из примера?



А вот АС берет все наблюдения на вход , при чем наблюдения могут быть разных размеров (как в примере)  

Выкидывает шум отбирая правила и дает на выходе закономерность в виде правила  = "А" "В" "С"  ведет к "СЕЛЛ"

Те не структурированый мусор превращает в закономерности

 
mytarmailS #:

размер окна истории это как раз большое ограничение для класических МО с табличными данными

АС (асоц. правила)  как раз не страдают такой болячкой, они прекрасно переваривают неструктурированые данные , более того каждое наблюдение может быть произвольного размера.

А само "окно видиния" (окно истории) может быть ограничено только выч. мощьностями.  ну или здрввым смыслом.


Так что ваш пример с  Размер окна истории  это как раз голос за АС и против МО.


Давайте еще какие то аргументы, мне интересно , может я чего то действительно не учел.

И еще вопрос , на сколько вы в теме АС ?

В правила особо не погружался. Писал уже, что к применению формальных грамматик приходил с другой стороны - смотрел на цену, как построенную стохастической грамматикой. Отказался от подхода именно из-за его громоздкости, которая плоха прежде всего из-за того что провоцирует переобучение.

Теперь избегаю тяжёлых моделей. Основное неформальное правило для меня - тяжесть модели должна соответствовать тяжести информации, которая есть в выборке.

Ваша модель тянет на полноценную модель цены, но реально имеющаяся у нас выборка цен (даже если добавить прочую информацию) в принципе не достаточна для такого.

Естественно, ИМХО

 
mytarmailS #:

Ну и как найдет АМО закономерность из примера?

Это я еще все описал очень скромно в угоду наглядности в реальности все больше похоже на это



А моделька ваша видит только это:  (последние 5 несчасных свечей)

Также учтите что нету никакой привязки к индексу, если важное событие было вчера 200 свечей назад, то сегодня это же событие может быть уже 1555 свечей назад или 12 например..

АС найдет такую закономерность , АМО нет!

АМО надо чтобы каждый признак всегда имел свою одну и туже колонку в таблице, чтобы он срабатывал всегда под одним и тем же индексом


или так вот, тоже довольно таки наглядно

[[1]]
[1] ".....A...............................................................B........C..............SELL"

[[2]]
[1] ".......A........B...........C...........SELL"

[[3]]
[1] "........................................A........B.........................C.............SELL"

[[4]]
[1] "..A.............................................................B..............C...SELL"

[[5]]
[1] ".......A..........................................B...C...SELL"

а моделька видит

[[1]]
[1] ".....A...............................................................B........C..............SELL"

[[2]]
[1] ".......A........B...........C...........SELL"

[[3]]
[1] "........................................A........B.........................C.............SELL"

[[4]]
[1] "..A.............................................................B..............C...SELL"

[[5]]
[1] ".......A..........................................B...C...SELL"


Кароч. надеюсь мысль донес..

 
Aleksey Nikolayev #:

Кстати как там продвигаеться изучения питона?

 
mytarmailS #:

Кстати как там продвигаеться изучения питона?

Хороший язык, только с какого-то уровня становится слишком сложным для непрограммиста. Например, расширения на С писать гораздо сложнее, чем в R. Очень понравились таблицы в numpy.

 
Aleksey Nikolayev #:

В правила особо не погружался. Писал уже, что к применению формальных грамматик приходил с другой стороны - смотрел на цену, как построенную стохастической грамматикой. Отказался от подхода именно из-за его громоздкости, которая плоха прежде всего из-за того что провоцирует переобучение.

Теперь избегаю тяжёлых моделей. Основное неформальное правило для меня - тяжесть модели должна соответствовать тяжести информации, которая есть в выборке.

Ваша модель тянет на полноценную модель цены, но реально имеющаяся у нас выборка цен (даже если добавить прочую информацию) в принципе не достаточна для такого.

Естественно, ИМХО

    100%                          

 
mytarmailS #:

Также учтите что нету никакой привязки к индексу, если важное событие было вчера 200 свечей назад, то сегодня это же событие может быть уже 1555 свечей назад или 12 например..

АС найдет такую закономерность , АМО нет!

АМО надо чтобы каждый признак всегда имел свою одну и туже колонку в таблице, чтобы он срабатывал всегда под одним и тем же индексом


или так вот, тоже довольно таки наглядно

Любопытно, делаете как раз то, что я описывал примерно пол года назад.

Не понял, как правила у Вас ищут значение признака по вертикали без привязки к индексу - в моей концепции должен быть диапазон допустимого поиска - у Вас не понял реализацию.

 
Aleksey Vyazmikin #:

Любопытно, делаете как раз то, что я описывал примерно пол года назад.

Не понял, как правила у Вас ищут значение признака по вертикали без привязки к индексу - в моей концепции должен быть диапазон допустимого поиска - у Вас не понял реализацию.

Обычными алгоритмами асоциативных правил,  разными в зависимости от задачи. 

Я вам тогда(пол года назад) ,  и давал решение (код) именно на вашу задачу, вы забыли? 
 
Aleksey Nikolayev #:

Хороший язык, только с какого-то уровня становится слишком сложным для непрограммиста. Например, расширения на С писать гораздо сложнее, чем в R. Очень понравились таблицы в numpy.

холиварный вопрос)

для иследований рынка  - R или питон?

1...314331443145314631473148314931503151315231533154315531563157...3496
Новый комментарий
Причина обращения: