Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3680

[Удален]  
Forester #:
Историю почти идеально запомнить можно и одним деревом. Что-то про успешность на новых данных ни слова.
У меня та же ситуация, как у СанСаныча.
Идеально заучивать и не надо, надо закономерности находить, обобщение. Но как получить обобщение, а не просто недообучение?
В МО нет встроенного способа как получить обобщение для нестационарного процесса :) Теоретически их можно добавить, например как в статьях про обучение с подкреплением, где это вшивается в архитектуру НС. Но на практике это будет означать, что для каждого отдельного процесса нужен будет отдельный алгоритм.  Процесс нужно сначала остационарить. Самыми яркими по накалу страстей (но не самыми эффективными) были попытки Александра Шредингера. Я залепил нечто такое, оно работает, но с просадками во время пересиживания не используемых наблюдений. Есть ещё более интересный способ, но он пока нигде не разглашается. 

Ну то есть это вовсе даже не проблема МО, а просто обычная проблема.
 
Aleksey Nikolayev #:

Ну, вообще говоря, ансамблирование в МО имеет смысл если есть слабые алгоритмы, которые хоть немного, но всё же работают.

Соответственно, ансамблируемые ТС должны давать хотя бы небольшую прибыль. Общепринято собирать такие модели в портфели - по сути бэггинг.

Вопрос (теоретический) был по сути о том, что можно ли вместо портфелирования этих слабых ТС придумать какую-то более сложную процедуру вроде бустинга.

Что значит "работают"?

Критерий "работают", если  результативность на файле обучения-тестирования и при пошаговом прогоне примерно одинакова. 

НЕ интересна результативность только на файле обучения-тестирования.

Если перейти к образам, то пара учитель-предикторы имеет некоторую результативность, как мат.ожидание, теоретически. Теперь задача, получая средние значения, приблизиться к этому теоретическому "мат.ожиданию".

Алгоритм построения модели представляется следующим:

1. Вычисляем результативность на файле обучения-тестирования и пошагово.

2. Если примерно совпали, то конец обучения

3. Если не совпали, то огрубляем модель/модели и сравниваем с пошаговым режимом.

4. Огрубление моделей делаем до тех пор, пока не совпало.


Не зря упомянул про мат.ожидание, которое не всегда существует! Т.е. существует ли для конкретного набора учитель-предикторы некая приемлемая величина результативности? 

[Удален]  
СанСаныч Фоменко #:

Алгоритм построения модели представляется следующим:

1. Вычисляем результативность на файле обучения-тестирования и пошагово.

2. Если примерно совпали, то конец обучения

3. Если не совпали, то огрубляем модель/модели и сравниваем с пошаговым режимом.

4. Огрубление моделей делаем до тех пор, пока не совпало.

Это же самый топорный подход, наряду с обу/переобучением в скользящем окне и переоптимиздацией параметров. То есть он не описывает процесс создания ТС.

МО ложно воспринимается как способ поиска закономерностей. Это же ошибка новичка. 

 
Maxim Dmitrievsky #:

Это же самый топорный подход, наряду с обу/переобучением в скользящем окне и переоптимиздацией параметров. То есть он не описывает процесс создания ТС.

МО ложно воспринимается как способ поиска закономерностей. Это же ошибка новичка. 

Главное быть профессионалом  в рисовании красивых балансом с Р-квадрат = 1. 

А где хотя бы один баланс из тестера?  

[Удален]  
СанСаныч Фоменко #:

Главное быть профессионалом  в рисовании красивых балансом с Р-квадрат = 1. 

А где хотя бы один баланс из тестера?  

В смысле рисование баланса, а потом баланс из тестера? Масло масляное :)
 
СанСаныч Фоменко #:
Что значит "работают"?

Вы явно хотите говорить о своём наболевшем, используя моё сообщение просто как повод для этого. В принципе, понимаю что вы хотели сказать и согласен что это очень важно, но у меня речь о другом.

В контексте моего сообщения речь идёт просто о стандартных условиях для алгоритмов, которые собирают в ансамбль - ошибка меньше чем у наивного алгоритма (ещё нужна независимость конечно)

 
Aleksey Nikolayev #:
Но подходящая для МО-трейдинга платформа не помешала бы. С кастомными событиями и нормальной синхронизацией событий на истории.
Ето было нечто..  сам о таком мечтал 
 
Aleksey Nikolayev #:

Вы явно хотите говорить о своём наболевшем, используя моё сообщение просто как повод для этого. В принципе, понимаю что вы хотели сказать и согласен что это очень важно, но у меня речь о другом.

В контексте моего сообщения речь идёт просто о стандартных условиях для алгоритмов, которые собирают в ансамбль - ошибка меньше чем у наивного алгоритма (ещё нужна независимость конечно)

В моем понимании ваш "бустинг ансамбля ТС" с посоянныым усложнением ансамбля - это просто итерацыонное создание одной но сложной ТС с итерацыонным улучшением еквити. А как практика показала (у меня)  это не работает именно из за высокой сложности 
 
Ivan Butko #:

...
Можно ли как-то применить методы "оттуда", чтобы пустить агента на график. 
Агент будет видеть постоянно бесконечную картину паттернов "много входных данных (по сути - голый график), но как-то обучаться "выигрывать" в этой среде. 

Подумалось.

Что мы видим в реальном мире вокруг? Деревья, дома, и много чего ещё. У этого мира есть свои физические законы, сила гравитации, инерция тел, законы преломления волн и многие другие. Так вот, деревья и дома - это не законы, это данные. Грубо говоря, по расположению деревьев и домов на текущей улице и нескольких предыдущих, пытаться предсказать расположение деревьев и домов на следующей улице. Абсурд? - конечно. Но именно так в большинстве случаев и получается, когда применяют МО к рыночным данным - попытка предсказать деревья на следующей улице (как угодно, значения цены или приращения, направление или диапазон), это никак не выявление законов в цвр. А ещё даже додумываются до такого "вот, если чуть-чуть недообучить прогнозировать деревья и дома на следующей улице, то точно получится обобщение и получится вычислить закон гравитации в этом плоском мире ценового графика...". Не, не получится.

Поэтому да, такой вот агент на графике должен воспринимать "деревья" как следствие, а не причину - законы. Должен буквально жить и улучшать свои навыки, обучаясь и ориентируясь по законам этого свечного мира.

Похоже, что вообще нет никаких фиксированных ценовых паттернов. Не могу утверждать точно, но это похоже на поиск знакомых фигур в небе, образованных облаками (это просто сгустки пара, нет никаких закономерностей в форме). Закономерности в другом - в температуре, давлении и влажности, вот что формирует облака.

 
Andrey Dik #:

Подумалось.

Что мы видим в реальном мире вокруг? Деревья, дома, и много чего ещё. У этого мира есть свои физические законы, сила гравитации, инерция тел, законы преломления волн и многие другие. Так вот, деревья и дома - это не законы, это данные. Грубо говоря, по расположению деревьев и домов на текущей улице и нескольких предыдущих, пытаться предсказать расположение деревьев и домов на следующей улице. Абсурд? - конечно. Но именно так в большинстве случаев и получается, когда применяют МО к рыночным данным - попытка предсказать деревья на следующей улице (как угодно, значения цены или приращения, направление или диапазон), это никак не выявление законов в цвр. А ещё даже додумываются до такого "вот, если чуть-чуть недообучить прогнозировать деревья и дома на следующей улице, то точно получится обобщение и получится вычислить закон гравитации в этом плоском мире ценового графика...". Не, не получится.

Поэтому да, такой вот агент на графике должен воспринимать "деревья" как следствие, а не причину - законы. Должен буквально жить и улучшать свои навыки, обучаясь и ориентируясь по законам этого свечного мира.

Похоже, что вообще нет никаких фиксированных ценовых паттернов. Не могу утверждать точно, но это похоже на поиск знакомых фигур в небе, образованных облаками (это просто сгустки пара, нет никаких закономерностей в форме). Закономерности в другом - в температуре, давлении и влажности, вот что формирует облака.

Проведя аналогию с форексом, ты как будто говоришь про фундаментальный анализ. 

Если хаотичные деревья и дома - это визуальное следствие физики, температуры, давления и тд, то хаотичный визуальный график - это следствие фундаментальных факторов. 

То есть, машина ничего не сможет извлечь из хаоса на графике, проглатывая этот самый хаос на графике. 


В этом есть смысл, но учитывая, что у нас нет фундаментальных входных данных для машины (или они скудные-недостаточные), то приходится сидеть с тем, что есть. 

И тут мысль такая: косвенные признаки. По аналогии с природой: мох растёт с северной стороны. И вот уже известна опора для координат. И тд. 

Получается, мы ищем именно косвенные признаки в хаосе графике. Косвенные следы фундамента, каких-то действий крупняка, и тд. В этом и есть смысл машины: найти их. 

Грубо говоря, смысл ковыряться в графике всё-таки есть.