Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 556
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Переобучение - Возникает при наличии больших весов (~10^18), следствие мультиколлинеарности, что приводит к неустойчивости модели A(x, w).
Переобучение лечится: ранним остановом обучения модели, ограничением роста весов (регуляризация L1(Lasso) и L2), ограничением связей в сети (Dropout), также возможно применение штрафных функций (ElacticNet, Lasso).
Причем регуляризация L1 ведет к отбору признаков, так как зануляет их весовые коэффициенты.
Избавление от "шумовых" признаков - это и есть отбор признаков. Для этого существуют свои методы. Это не всегда идет на пользу модели, поэтому иногда применяют регуляризацию L2 (помогает решать проблему мультиколлинеарности).
СанСаныч Фоменко, Ваше высказывание об отношении признаков и таргетов несколько самоуверенно. Поскольку, как Вы можете утверждать то, что еще не доказано; то для чего и строится модель МО. Построенная и работающая модель дает некоторую оценку того, что взаимосвязь имеется с "такой-то" точностью.
А пример со штанами и юбками, отображает скудность знаний исследователя об исследуемой области, ибо в такой модели Вы выкидываете ценные признаки о месте проживания, времени года, широтам и долготе региона проживания, и так далее.
Мой пример - вырожденный случай, чистота мысли, классификация без ошибок. Таких признаков в экономике не бывает, а вот в генетике, если не 100%, чуть меньше запросто.
А теперь о регуляризации.
Несомненно.
Но важна последовательность.
Сначала, всегда, отбор признаков на основе "отношения" к целевой. Если на фондовых рынках, то на основе экономических связей.
Это всегда сначала, а потом все остальное.
У меня имеется работающая ТС с rf. Из нескольких сотен признаков с помощью "отношения" отобрал 27 предикторов. Затем из 27 отбираю стандартным алгоритмом на каждом баре (Н1), остается от 5 до 15, всегда разные получаются. Ограничиваю число деревьев, 100 это много, 50 - мало, ошибка при 50 не стабилизируется.
Это конкретный опыт. Ошибка классификации ZZ чуть менее 30%. Уменьшить не удается - нужны другие предикторы, а нет идей в предикторах.
Раз у Вас сразу на вход столько параметров, тогда ясно о чем Вы.
В таком случае переобучение здесь несколько вторично, что мне скорее всего и бросилось в глаза. Это ближе к "облегчению" расчетов.
Раз у Вас сразу на вход столько параметров, тогда ясно о чем Вы.
В таком случае переобучение здесь несколько вторично, что мне скорее всего и бросилось в глаза. Это ближе к "облегчению" расчетов.
Почему вторично?
А что первично?
Что может быть страшнее переобучения (сверх подгонки)?
Почему вторично?
А что первично?
Что может быть страшнее переобучения (сверх подгонки)?
Поэтому и говорю, что в поднятом вопросе переобучение вторично.
Хотя Вы верно заметили, следовало сказать так: "Отбор параметров вторичен относительно переобучения, и стоит подробнее рассматривать вопрос именно с него".
https://habrahabr.ru/post/345950/
тут оказалось что и простая НС за границами обучающей выборки работает весьма так себе (выходит на константу гиперб. тангенс).. в случае с регрессией, т.е. не намного лучше чем RF
оч наглядная статья
https://habrahabr.ru/post/322438/
тут оказалось что и простая НС за границами обучающей выборки работает весьма так себе (выходит на константу гиперб. тангенс).. в случае с регрессией, т.е. не намного лучше чем RF
оч наглядная статья
https://habrahabr.ru/post/322438/
Почитать на досуге.
https://habrahabr.ru/post/345950/
ИМХО бесполезная статья, плохой перевод, или я плохой читатель, но для меня, это похоже на банальное нагромождение устаревших идей и, что печально, на еще одно подтверждение кризиса глубокого обуучения, как топовой технологии, об этом в последнее время заговорил даже фактический родоначальник этого направления - Джеффри Хинтон в своих статьях о капсульных нейросетях.
Хотя Uber такси - респект..))
ИМХО полезная, развивающая статья, без претензии на новизну, но с хорошим практическим смыслом.
Поэтому легко запутаться, допустим мы юзали линейную или ридж регрессию и все было ок, и тут решили перейти на МЛП для тех же задач.. а нифига :)
для млп надо как-то преобразовывать выходы а потом трансформровать их обратно. поэтому все предпочитают юзать классификацию, хотя для задач прогнозирования подходит именно регрессия :)
Я бы даже сказал что для трендов больше как раз подходит линейная или ридж регрессия, а для флэтов MLP
В ходе упражнений с гарч получил удивительный рисунок.
Вот котир EURCAD
А вот автокорреляция абсолютных приращений
Поразительная регулярность!
1. Чтоб это означало?
2. Как эту регулярность можно использовать?
ПС.
Такой вид имеют не все валютные пары.
Вот USDJPY