Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3720

 
Aleksey Nikolayev #:

Имхо, обычная ситуация, когда на смену рекламной шумихе приходит обычная рутинная повседневность. Если кто и ловит рыбу посредством МО, то делиться знаниями о рыбных местах вряд ли он будет.

Кстати, похожее сейчас происходит с ИИ. Завывания про скорый зохват власти ИИ-чатами почти совсем пропали, про скорое AGI/ASI гундят уже заметно реже. Максимум, периодически выкатывают очередные модели, набравшие очередной трильон процентов на очередных мутных бенчах. Ну и всякие Безосы потихоньку ноют про ИИ-пузырь, поскольку этот праздник в основном за их счёт.

Опять не взлетело.

Немного истории

https://www.mql5.com/ru/articles/525

http://www.onix-trade.net/forum/index.php?search/47183954/&page=4

 
Maxim Dmitrievsky #:
Позже набросаю индикатор автопричинности по статье, попробую с этим что-нибудь сделать :)
Что-нибудь делать точно надо) Но что-нибудь писать об этом совсем лень почему-то) 
 
Rorschach #:

Опять не взлетело.

Немного истории

https://www.mql5.com/ru/articles/525

http://www.onix-trade.net/forum/index.php?search/47183954/&page=4

Леонид красавец, он тут недавно в новостях засветился он же продюсирует Бузову как я знаю.....
 
Aleksey Nikolayev #:


    Итог

    Совместный подход вероятностного и каузального машинного обучения для нестационарных временных рядов:

    • адаптирует вероятностные модели для учета динамичных и изменяющихся характеристик,

    • извлекает причинно-следственные связи, давая объяснимость и понимание внутренней механики,

    • использует алгоритмы для генерации информативных признаков и учета стохастической природы данных,

    • улучшает точность прогнозов и устойчивость модели к шуму и структурным сдвигам,

    что делает возможным применение таких методов в сложных реальных задачах с динамическими и зашумленными временными рядами.

    С моей колокольни, все, что Вами написано в этом и предыдущих постах не решает проблему нестационарности - это все более точное и навороченное моделирование истории.

    Почему это имеет отношение к будущему?

    Моделируем... моделируем, а потом прогоняем вне периода обучения, зачастую крайне некорректно. А если и корректно, то все равно не предсказывает. На примере любимых деревьев: подогнали, набрали деревья, стали сдвигать, а там растет старое дерево, но оно связано с другим значением учителя. Нестационарность связи между предикторами и учителем, которая, вероятно или закономерно, не проистекает из нестационарности исходного временного ряда.поэтому любые ухищрения в моделировании нестационарности исходного временного ряда бессмысленны. 

     
    СанСаныч Фоменко #:

    С моей колокольни, все, что Вами написано в этом и предыдущих постах не решает проблему нестационарности - это все более точное и навороченное моделирование истории.

    Почему это имеет отношение к будущему?

    Моделируем... моделируем, а потом прогоняем вне периода обучения, зачастую крайне некорректно. А если и корректно, то все равно не предсказывает. На примере любимых деревьев: подогнали, набрали деревья, стали сдвигать, а там растет старое дерево, но оно связано с другим значением учителя. Нестационарность связи между предикторами и учителем, которая, вероятно или закономерно, не проистекает из нестационарности исходного временного ряда.поэтому любые ухищрения в моделировании нестационарности исходного временного ряда бессмысленны. 

    Проблему нестационарности во всей её широте не решает ничто. Возможны лишь некие прикидки.

    1) Стационарность/нестационарность - это не свойство конкретных рядов. Это свойство моделей (случайных процессов), которые предполагается использовать для анализа этих рядов. Один и тот же ряд вполне может рассматриваться одновременно в рамках стационарной и нестационарной моделей.

    2) Нестационарность принципиально необозрима. Можно образно представить все нестационарные случайные процессы как бесконечный океан, в котором находится крошечный островок стационарности. В этой аналогии доступная к изучению нестационарность будет всего лишь небольшой прибрежной отмелью, окружающей островок стационарности. По сути, нашему анализу недоступна нестационарность, которая не сводится каким-то образом к стационарности. Очевидно, такая сводимая нестационарность тоже бесконечно мала по объёму в сравнении с несводимой.

     
    Aleksey Nikolayev #:

    Проблему нестационарности во всей её широте не решает ничто. Возможны лишь некие прикидки.

    1) Стационарность/нестационарность - это не свойство конкретных рядов. Это свойство моделей (случайных процессов), которые предполагается использовать для анализа этих рядов. Один и тот же ряд вполне может рассматриваться одновременно в рамках стационарной и нестационарной моделей.

    2) Нестационарность принципиально необозрима. Можно образно представить все нестационарные случайные процессы как бесконечный океан, в котором находится крошечный островок стационарности. В этой аналогии доступная к изучению нестационарность будет всего лишь небольшой прибрежной отмелью, окружающей островок стационарности. По сути, нашему анализу недоступна нестационарность, которая не сводится каким-то образом к стационарности. Очевидно, такая сводимая нестационарность тоже бесконечно мала по объёму в сравнении с несводимой.

    К сожалению именно нестационарность ряда и убивает результат работы любой стратегии со временем. Разве нет?
     
    Aleksey Nikolayev #:

    Проблему нестационарности во всей её широте не решает ничто. Возможны лишь некие прикидки.

    1) Стационарность/нестационарность - это не свойство конкретных рядов. Это свойство моделей (случайных процессов), которые предполагается использовать для анализа этих рядов. Один и тот же ряд вполне может рассматриваться одновременно в рамках стационарной и нестационарной моделей.

    2) Нестационарность принципиально необозрима. Можно образно представить все нестационарные случайные процессы как бесконечный океан, в котором находится крошечный островок стационарности. В этой аналогии доступная к изучению нестационарность будет всего лишь небольшой прибрежной отмелью, окружающей островок стационарности. По сути, нашему анализу недоступна нестационарность, которая не сводится каким-то образом к стационарности. Очевидно, такая сводимая нестационарность тоже бесконечно мала по объёму в сравнении с несводимой.

    Как-то все черным-черно и безнадегой погоняет....

    Согласен, что проблему нестационарности как таковую скорее всего на сегодня не решить.

    Но следует решать ее по частям.

    Предикторы.

    Берем в исходном виде, или требуется предобработка. какова цель предобработки и каковы критерии качества?

    Связь с предикторов с целевой.

    Кто-нибудь строил гистограмму этой связи? Какие критерии "хорошей" связи?

    Вероятность предсказания класса.

    Кто-нибудь строил гистограммы этих вероятностей? Я строил и получил удивительные и необъяснимые результаты.

    А именно.

    Исходный учитель Long-Short поделен на два - Long-Out, Short-Out. Казалось бы, зеркальные целевые переменные. Но. Гистограмма вероятности предсказания одной целевой переменной что-то похожее на колокольчик, а второй что-то типа корыта. Почему? Что лучше и как повлиять.

    Обычный подход разбиения на части  здесь нет места простому усложнению модели. если берем более сложную модель, то она должна решать конкретную идентифицированную проблему.     

     Не видел публикаций, в которых бы рассказывали, что нужно делать то -то и то-то и указывали критерии отбора. Обычный подход: меняем, оцениваем весь пароход, а потом меняем и сравниваем оценки все парохода. Это не решение конкретных идентифицированных проблем нестационарности, Кстати в отлии от подхода гарч.

    [Удален]  
    СанСаныч Фоменко #:

     Не видел публикаций, в которых бы рассказывали, что нужно делать то -то и то-то и указывали критерии отбора. Обычный подход: меняем, оцениваем весь пароход, а потом меняем и сравниваем оценки все парохода. Это не решение конкретных идентифицированных проблем нестационарности, Кстати в отлии от подхода гарч.

    Нужно сделать матчинг паттернов и посмотреть сколько всего паттернов вы имеете в данных и как часто они повторяются. Там будет ответ на все вопросы. То есть просто посмотреть на данные. Если они не повторяются (а они не повторяются), то обобщать нечего и это не проблема МО. Остаются увлекательные курва-зафиты.

    Нестационарность можно определить через увеличение кол-ва признаков с увеличением кол-ва наблюдений, для аккуратных зафитов. На форе количество признаков всегда растет с увеличением истории.
     
    Maxim Dmitrievsky #:
    Нужно сделать матчинг паттернов и посмотреть сколько всего паттернов вы имеете в данных и как часто они повторяются. Там будет ответ на все вопросы. То есть просто посмотреть на данные. Если они не повторяются (а они не повторяются), то обобщать нечего и это не проблема МО. Остаются увлекательные курва-зафиты.

    Нестационарность можно определить через увеличение кол-ва признаков с увеличением кол-ва наблюдений, для аккуратных зафитов. На форе количество признаков всегда растет с увеличением истории.

    Что значит "паттерны"?

    В деревянных моделях - это дерево и они не повторяются. Но есть другое наблюдение над рэндом форест.

    При выборке 1500 бвр количество досточно 70 деревьев, после чего ошибка стабилизируется. Интересно другое, что еси брать более 1500 бар, например, 5000, то все равно хватает 70 деревьев. Правда не понятно, это те же деревья или другие? есть подозрения, что это другие деревья, т.е. наблюдается "нестационарность" деревьев из-за чего и не работает при прогоне окна вне выборки.

    [Удален]  
    СанСаныч Фоменко #:

    Что значит "паттерны"?

    В деревянных моделях - это дерево и они не повторяются. Но есть другое наблюдение над рэндом форест.

    При выборке 1500 бвр количество досточно 70 деревьев, после чего ошибка стабилизируется. Интересно другое, что еси брать более 1500 бар, например, 5000, то все равно хватает 70 деревьев. Правда не понятно, это те же деревья или другие? есть подозрения, что это другие деревья, т.е. наблюдается "нестационарность" деревьев из-за чего и не работает при прогоне окна вне выборки.

    Мы не рассматриваем всякие модели. Только ценовые паттерны, думаю, что это не нужно объяснять.

    Там больше от настроек глубины деревьев зависит, чем от их количества. Количество уменьшает переобучение, если это возможно. Если при увеличении выборки нужна бОльшая глубина дерева, то ряд тоже нестационарный, по аналогии с ситуацией с растущим количеством признаков. Это уже показывает, что занимаемся курвафитингом и пи-хакингом.