Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3356
Вы упускаете торговые возможности:
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Регистрация
Вход
Вы принимаете политику сайта и условия использования
Если у вас нет учетной записи, зарегистрируйтесь
Не выдержал.
Не выдержал.
Не бывает абстрактной, читай эталонной, идеальной, вероятности, не привязанной к случайному процессу.
Не бывает.
Вероятность монеты, которую побрасывают и т.д.
Поэтому любой классификатор дает вероятность, которая характеризует именно этот конкретный классификатор, что дает нужную нам характеристику - ошибку предсказания. Другой классификатор даст другие вероятности с соответствующей ошибкой предсказания классов.
В зависимости от предикторов и связанных с ними меток, а также балансировки классов, возникает проблема установки порога деления вероятностей на классы. Инструменты для этой операции, называемой "калибровкой", даны выше. Можно это делать и по колхозному.
В любой случае можно существенно уменьшить ошибку предсказания именно для тех вероятностей, которые дал конкретный классификатор, потому как нет в природе других вероятностей при работе с конкретным классификатором. Не нравятся вероятности - работайте с классификатором или же занимайтесь калибровкой. В этом конкретном процессе нет места !идеальным" вероятностям, которых не бывает теоретически.
Ясно одно, что деление на классы по порогу 0.5 крайне сомнительно и работает в редких случаях.
Там речь про обычные для матстата ошибки при использовании неправильной вероятностной модели. Например, если в регрессии шум на самом деле распределён по Лапласу, а мы считаем как для Гаусса, то очевидно будут ошибки.
PS. Собственно там вся суть в возврате к вероятностным истокам МО, которое, кстати, в девичестве называлось (по крайней мере в СССР) статистическим обучением)
Пример уже описал выше. Есть классификатор, который проходит оос, но доходности распределены 60/40. Вам это не нравится, вы поднимаете порог принятия решений, но ситуация не меняется, а иногда становится еще хуже. Вы чешете репу, почему так.
Дано объяснение, почему так: потому что в случае реальной оценки вероятностей ситуация должна меняться.
Дано решение.
Пример уже описал выше. Есть классификатор, который проходит оос, но доходности распределены 60/40. Вам это не нравится, вы поднимаете порог принятия решений, но ситуация не меняется, а иногда становится еще хуже. Вы чешете репу, почему так.
Дано объяснение, почему так: потому что в случае реальной оценки вероятностей ситуация должна меняться.
Дано решение
Пример уже описал выше. Есть классификатор, который проходит оос, но доходности распределены 60/40. Вам это не нравится, вы поднимаете порог принятия решений, но ситуация не меняется, а иногда становится еще хуже. Вы чешете репу, почему так.
Дано объяснение, почему так: потому что в случае реальной оценки вероятностей ситуация должна меняться.
Дано решение.
Всё же хотелось бы отметить, что калибровка не будет панацеей и не является бесплатной - нужны хорошие свойства у имеющегося классификатора. Чтобы не вдаваться в объяснения, приведу цитату из второй вашей ссылки на ШАД. "В целом, можно показать, что этот метод хорошо работает, если для каждого из истинных классов предсказанные вероятности распределы нормально с одинаковыми дисперсиями." Это про калибровку Платта, но и для других тоже наверняка должны выполняться какие-нибудь условия.
Собственно, всё как в матстате - вероятностные свойства используемой модели должны соответствовать изучаемым данным.
Всё же хотелось бы отметить, что калибровка не будет панацеей и не является бесплатной - нужны хорошие свойства у имеющегося классификатора. Чтобы не вдаваться в объяснения, приведу цитату из второй вашей ссылки на ШАД. "В целом, можно показать, что этот метод хорошо работает, если для каждого из истинных классов предсказанные вероятности распределы нормально с одинаковыми дисперсиями." Это про калибровку Платта, но и для других тоже наверняка должны выполняться какие-нибудь условия.
Собственно, всё как в матстате - вероятностные свойства используемой модели должны соответствовать изучаемым данным.
Ну конечно, это просто способ привести аутпуты в вероятностый вид, потому что использование сырых вероятностей модели вообще бесполезно.
Обсуждали эту тему ещё во времена Свинозавра, Математа, Гранита и Метадрайвера, то есть очень давно.
Не видел у них этой темы, возможно просто пропустил (раньше больше читал Киберпаука). Речь про модели, в которых в качестве выходов получаются вероятностные распределения, а не конкретные числовые значения. Не сказать что это какой-то совсем уж новый подход, но в последние годы есть заметный подъём интереса к этой теме.
Ну как же, было множество попыток, правда я не знаю их успешных публичных результатов. Самое простое, что делалось - трактовать выход единичного нейрона как вероятность селл/бай в диапазоне [-1.0;1.0], ничего хорошего из этого не получилось, применение порога не помогает.
Другое дело, что можно применять распределение выходов нейрона как вероятность, но я не видел что бы это кто-то делал. К примеру, при одних и тех же сигналах селл/бай выходного нейрона сети при обучении, распределение значений может сильно отличаться, соответственно и поведение на OOS будет разным.
К тому же, я давно показывал графики обучения и поведения на OOS, где линия идёт не переламываясь, конечно без спреда, причем на вход подавались приращения простых машек с разных тайфреймов, элементарщина. А тут вот некоторые гении вдруг сделали "гениальный" вывод, что спред влияет на поведение на OOS.