Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1778

 
mytarmailS:

ну не корреляцией же..

возможно кроскорреляцией через оценку лагов..

А почему бы и нет? При обучении кроссвалидация отсеет не нужное, или статистикой какой нить.. 

Откуда вы знаете  - "что есть что" ,  пока не проверите? 

Ну, я бы долго рассказывал о проблеме избыточности, особенно актуальной для НС, но мне лень.

Кстати, именно это проблема часто становится причиной слабой прогностической способности модели

 
mytarmailS:

Ну как? это же очевидно)) ЗЗ вверх значит покупка, вниз продажа

Вы же направление ЗЗ прогнозируете?

Это получится дерганье, вероятно.

Пробовали усреднять/сглаживать показатель классификации с окном, чтобы исключить выбросы?

 
Aleksey Vyazmikin:

Это получится дерганье, вероятно.

Пробовали усреднять/сглаживать показатель классификации с окном, чтобы исключить выбросы?

В данном случае усреднение равно запаздывание . Нужно улучшать качество классификации , сглаживать не вариант.

Попробуйте как есть!

Дмитрий:

Ну, я бы долго рассказывал о проблеме избыточности, особенно актуальной для НС, но мне лень.

Кстати, именно это проблема часто становится причиной слабой прогностической способности модели

Именно потому я и думаю в эту сторону, признаки могут быть уже натренированными АМО, или рабочими правилами , те признаки это уже должна быть качественная , сжатая информация и мой мини эксперимент тот что на прошлой странице это доказал.

А как прогнозировать корреляцией я так и не понял(

 
mytarmailS:


А как прогнозировать корреляцией я так и не понял(

Опять какое то прогнозирование....

Коэффициент корреляции помогает определить ЗАРАНЕЕ наиболее значимые предикторы - чем выше корреляция зависимой переменной от предиктора, тем значимее такая переменная для модели.

То есть, в твоем примере есть два пути. Первый, твой - подставлять по одному предиктору в модель и смотреть насколько улучшается точность прогноза. Долго.

Второй, с помощью коэффициента корреляции заранее отсеять малозначимые предикторы, зашумливающие модель.


Просто проблема избыточности состоит в том, что ты можешь добавить в модель 100+1 новый предиктор, но 100 предикторов добавят в качество прогноза 0,01%, а 1 добавит 10%. И нет смысла перегружать модель этими 100-ми новыми предикторами - переподгонка

 
mytarmailS:


И, кстати, на большом количестве предикторов дерево - га.но, случайный лес рулит

 
Дмитрий:

Опять какое то прогнозирование....

Коэффициент корреляции помогает определить ЗАРАНЕЕ наиболее значимые предикторы - чем выше корреляция зависимой переменной от предиктора, тем значимее такая переменная для модели.

То есть, в твоем примере есть два пути. Первый, твой - подставлять по одному предиктору в модель и смотреть насколько улучшается точность прогноза. Долго.

Второй, с помощью коэффициента корреляции заранее отсеять малозначимые предикторы, зашумливающие модель.

Ну корреляция это  всего лишь один из вариантов для отсеивания и точно не самый лучший.. Можно также  и коинтеграцию, кросскореляцию, нелинейную корреляцию итп.. использовать и это будет даже лучше НО все они стоят иерархически ниже чем простая ошибка классификации, потому  я и выбрал критерий как ошибка предсказания у признака

Дмитрий:

И, кстати, на большом количестве предикторов дерево - га.но, случайный лес рулит

От части согласен, но если помыслить шире то лес это то же правило, разница только в сложности.

Есть пакет в R который может лес из 200 деревьев ужать в одно-три правила удалив все лишнее и избыточное , потеря качества классификации при этом 0,5-2 % , вот это и есть сжатие информации к которому надо стремиться + интерпретируемость

 
mytarmailS:

В данном случае усреднение равно запаздывание . Нужно улучшать качество классификации , сглаживать не вариант.

Попробуйте как есть!

Так не вариант. Слишком много запила во флете.

Можно конечно сдвинуть порог активации 0,65 - покупка, а 0,35 - продажа.


 
Aleksey Vyazmikin:

Так не вариант. Слишком много запила во флете.

Можно конечно сдвинуть порог активации 0,65 - покупка, а 0,35 - продажа.

покажите график с сделками

 
mytarmailS:

покажите график с сделками

Видны запилы и области хорошей классификации.

Это если на каждом баре активироваться.



 
Aleksey Vyazmikin:

Видны запилы и области хорошей классификации.

Это если на каждом баре активироваться.

Ну да, похоже как и у меня...

Что же, нужно думать и уменьшать ошибку ...

Вижу два пути

1) улучшать качество признаков, то о чем я написал две страницы назад

2) изменять/сглаживать цену, но до того как она попадет на обучение , постфактум сглаживать бес толку  

Причина обращения: