Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2622

 
mytarmailS #:
Перечитал более вдумчиво. В принцепе , все верно, но нейронка тупиковый путь по нескольким причинам

Вот именно. Я в какой-то из них уперся. По идее - точность прогноза фильтруется пороговым значением вероятности на выходном слое, но тогда очень падает частота сделок и ухудшается скорость реагирования на ситуацию. Фильтрация на скрытых слоях мало влияет на результат. Я при обучении применяю фиксированные равные стоп и тейк для объективности. В режиме Работа - стоп тянется после безубытка, начиная с некоторой дистанции, порог сходимости сбрасывается на 0 - чтоб обрабатывать все картинки. Величина стопа - среднее движений между 0 и 10, ..., 50 и 61 барами. Это значение примерно совпадает с оптимизированным. Может, тут стоит применить что-то другое? Зигзаг только ухудшил картину. С какими тупиками столкнулись Вы и какие решения предполагаете? 

 
Dmytryi Voitukhov #:

Вот именно. Я в какой-то из них уперся. По идее - точность прогноза фильтруется пороговым значением вероятности на выходном слое, но тогда очень падает частота сделок и ухудшается скорость реагирования на ситуацию. Фильтрация на скрытых слоях мало влияет на результат. Я при обучении применяю фиксированные равные стоп и тейк для объективности. В режиме Работа - стоп тянется после безубытка, начиная с некоторой дистанции, порог сходимости сбрасывается на 0 - чтоб обрабатывать все картинки. Величина стопа - среднее движений между 0 и 10, ..., 50 и 61 барами. Это значение примерно совпадает с оптимизированным. Может, тут стоит применить что-то другое? Зигзаг только ухудшил картину. С какими тупиками столкнулись Вы и какие решения предполагаете? 

Фиксированый стоп, тейк, скользящее окно,  табличные данные на вход, всё это не работает для сильно нестацыонарных  данных по понятным причинам. 

Концептуально для рынка хорошы "асоциативные правила" , но реализация должна быть своя
 
Maxim Dmitrievsky #:

это не мультилэйбл, другой смысл. Исключаются плохие сигналы итеративно, оставляются те, которые хорошо предсказываются основной моделью в общей куче, а вторая модель учится отделять плохие от хороших, запрещать или разрешать торговлю первой

тут и 2я модель может и не нужна? - Cross Validation and Grid Search for Model Selection  ... (in Keras)

но, может, и просто confusion matrix  даст ответ на 2й ваш вопрос (цель 2й модели вашей идеи)...

или classification_report

... просто усомнилась я, что вам нужна 2я модель... имхо

Cross Validation and Grid Search for Model Selection in Python
  • stackabuse.com
A typical machine learning process involves training different models on the dataset and selecting the one with best performance. However, evaluating the perfo...
 
mytarmailS #:
Фиксированый стоп, тейк, скользящее окно,  табличные данные на вход, всё это не работает для сильно нестацыонарных  данных    

в конце концов трейдер хочет зарабатывать на шуме... возможная цикличность колебаний может заинтересовать только инвестора в долгосроке, - и НЕ без понимания фин-эк взаимосвязей, а не простой статистики... имхо смоделировать шум кажется поинтереснее (для трейдера), но более рисковано (для его торговли)... - обычный баланс риска-профитности

p.s.

только вот отфильтровать шум(рабочий) от шума(нерабочего) - задачка ещё та (т.е. отделить шумовое загрязнение шума)... видела где-то статью, что стот ориентироваться на соотношение Signal\Noise>2 (для рабочего шума) -- смахивает на обычный осцилятор, который накручивается на трендовую составляющую модели ТС... всё банально (как учат новичков - 1 трендовый индюк, 1 осцилятор), - а в рамках такого общего ориентира можно вложить любые свои предпочтения к информации и расчётам, которой(ым) сам трейдер больше склонен доверять - только здесь и видится поле для субъективизма в ТС... имхо ... и эту банальщину надо лишь цифроризовать в модель НС, чтобы торговал робот, а не торчать перед терминалом днями

Временные ряды-Введение
  • www.machinelearningmastery.ru
  • www.machinelearningmastery.ru
Статьи, вопросы и ответы на тему: машинное обучение, нейронные сети, искусственный интеллект
 
JeeyCi #:

тут и 2я модель может и не нужна? - Cross Validation and Grid Search for Model Selection  ...

но, может, и просто confusion matrix даст ответ на 2й ваш вопрос (цель 2й модели вашей идеи)...

или classification_report

... просто усомнилась я, что вам нужна 2я модель... имхо

 Тоесть дамочка думает что мы тут не знаем что такое кросвалидация? )) Тысяча фейспалмов...

А " статья" это просто шедевр ))) 

1) для рендом фореста не надо проводить кросвалидацию так как само построение правил делает это, потому что рандомно..

2) для рендом фореста не надо нормализировать признаки,  деревя работают с необработаными признаками

Это ниже дна
 
mytarmailS #:  

1) для рендом фореста не надо проводить кросвалидацию

а ответ и не вам предназначался -- вы читать так и не научились... (( - ваши уменияи анализировать читаемое вами мной уже давно не ставятся под сомнение, точнее их отсутствие, как и ваш анализ вашей торговли и её автоматизации (даже не слова путаете, а контексты уродуете) 

p.s.

анализ динамики - ничто - без предварительного анализа зависимостей... анализ временных рядов - это последнее, что делается в статистике после др. видов анализа... -- а вы всё успокоиться не можете, что у вас time-series нестационарны, не удосужившись элементарно зависимость найти... - лишь огрызаетесь и зубоскалите (наверно, думая, что вам весело?) -- на риторический вопрос не утруждайтесь отвечать

 
JeeyCi #:

а ответ и не вам предназначался -- вы читать так и не научились... 

Если ты рекомендуешь статью в которой написан БРЕД , ты этот БРЕД схавала ( что говорит о твоей компетенции), рекомендуешь схавать и другим..

Вопрос: если этот ответ адресовался не мне, то бред перестает быть бредом?? Вопрос не риторический
[Удален]  
JeeyCi #:

тут и 2я модель может и не нужна? - Cross Validation and Grid Search for Model Selection  ...

но, может, и просто confusion matrix даст ответ на 2й ваш вопрос (цель 2й модели вашей идеи)...

или classification_report

... просто усомнилась я, что вам нужна 2я модель... имхо

Вот как раз улучшение конфузион матрикс заявлено при использовании второй модели, если почитать Прадо, например. Но там ещё используется оверсемплинг примеров для первой модели для увеличения кол-ва то ли тру позитивс, то ли еще чего. Забыл уже, к сожалению.
Используя одну модель, можно улучшить одно за счёт ухудшения другого, а с 2-мя моделями можно улучшать все, якобы. Поищите конфьюжн матрикс Прадо или Мета Лейбелинг Прадо. Я с телефона.
А кросс-валидация покажет «хорошо» после таких манипуляций, можно просто смотреть на новых данных баланс эквити ТС и сразу все видно )
 
Maxim Dmitrievsky #:
Вот как раз улучшение конфузион матрикс заявлено при использовании второй модели, если почитать Прадо, например. Но там ещё используется оверсемплинг примеров для первой модели для увеличения кол-ва то ли тру позитивс, то ли еще чего. Забыл уже, к сожалению.
Используя одну модель, можно улучшить одно за счёт ухудшения другого, а с 2-мя моделями можно улучшать все, якобы. Поищите конфьюжн матрикс Прадо или Мета Лейбелинг Прадо. Я с телефона.
           

up-sampling & down-sampling - это для Imbalanced datasets и small training sets - если речь об этом, - т.е. придание бОльших весов для мЕньших классов и наоборот... да, наверно, для их (тру позитивс) увеличения...

***

а насчёт 2х моделей - ну можно, наверно, 2 раза отфильтровать - сначала сигналы для настройки весов, потом сделки по ним согласно этим весам (запущенным input'ом во 2ое взвешивание)... хоть и смахивает на возможность обучаться на сделках с контекстом - и чтобы градиент не исчезал для более ранних time-series - хорошая задумка... НО реализация при работе с контекстом всё равно немного другая обычно - задача использовать кодирование "сделки и её контекста" и 2я RNN берёт в обработку результат 1й для декодирования в output -- но это мало связано с работой 2х сетей над 2мя разными задачами (например, контекст и сделки), т.к. по сути обрабатывается-пропускается через 2 сети "сделка и контекст" (как пара!!)... - это лишь вопрос скорости решает, но не (или в меньшей степени) валидности выхода... имхо...

но если вы совсем уж хотите разделить обработку контекста и сделки (контекст отдельно, сделки отдельно) -- то мне пока такая конструкция напоминает бутерброд (или масло-масляное, смазывающее взаимосвязи и зависимости явлений друг от друга - в 2 слоя)... не претендую на трактовку вашего ТехЗадания, но высказала свои опасения и предположение о том, чтО всё-таки, наверно, стоит сохранять в процессе моделирования - именно Взаимосвязи!.. Желаю вам красивой (отражающей реальность! а не масло масляное) Архитектуры сети!

p.s. ) как извечная проблема "контекстной рекламы" - "главное, не отрываться от реальности" (только настройка весов у них иногда кривовата - не буду показывать пальцами у кого, - или с малыми выборками заработались не в ту сторону)

[Удален]  
JeeyCi #:

up-sampling & down-sampling - это для Imbalanced datasets и small training sets - если речь об этом, - т.е. придание бОльших весов для мЕньших классов... да, наверно, для их (тру позитивс) увеличения...

***

а насчёт 2х моделей - ну можно, наверно, 2 раза отфильтровать - сначала сигналы для настройки весов, потом сделки по ним согласно этим весам (запущенным input'ом во 2ое взвешивание)... хоть и смахивает на возможность обучаться на сделках с контекстом - и чтобы градиент не исчезал для более ранних time-series - хорошая задумка... НО реализация при работе с контекстом всё равно немного другая обычно - задача использовать кодирование "сделки и её контекста" и 2я RNN берёт в обработку результат 1й для декодирования в output -- но это мало связано с работой 2х сетей над 2мя разными задачами (например, контекст и сделки), т.к. по сути обрабатывается-пропускается через 2 сети "сделка и контекст" (как пара!!)... - это лишь вопрос скорости решает, но не (или в меньшей степени) валидности выхода... имхо...

но если вы совсем уж хотите разделить обработку контекста и сделки (контекст отдельно, сделки отдельно) -- то мне пока такая конструкция напоминает бутерброд (или масло-масляное, смазывающее взаимосвязи и зависимости явлений друг от друга - в 2 слоя)... не претендую на трактовку вашего ТехЗадания, но высказала свои опасения и предположение о том, чтО всё-таки, наверно, стоит сохранять в процессе моделирования - именно Взаимосвязи!.. Желаю вам красивой (отражающей реальность! а не масло масляное) Архитектуры сети!

p.s. ) как извечная проблема "контекстной рекламы" - "главное, не отрываться от реальности" (только настройка весов у них иногда кривовата - не буду показывать пальцами у кого, - или с малыми выборками заработались не в ту сторону)

Понятие контекста, возможно, не очень употребимо в случае временных рядов. Там нет чёткого разделения, обе модели учавствуют в предсказании. Одна направление, другая тайминг. Я бы сказал, что они равноценные. Вопрос как можно оптимизировать поиск лучших ситуаций для торговли, основываясь на анализе ошибок моделей, и можно ли. Переобучая то одну то другую последовательно. После каждой пары переобучения результат должен улучшаться на новых данных. Т.е. оно должно уметь выцеплять закономерность из тренировочной выборки и постепенно улучшаться на новых данных, которые не видела. Нетривиальная задачка. 

Я сделал выбрасывание примеров, которые плохо предсказываются первой моделью в класс «не торговать» второй модели. Выбросил из обручающей выборки для первой модели. У первой ошибка упала до нуля почти, соответственно. У второй тоже небольшая. Но это же не значит, что на новых данных будет хорошо.

Это какая-то комбинаторная задача: найти правильные бай и селл в правильное время

Может здесь невозможно найти решение