Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3356

[Удален]  
СанСаныч Фоменко #:

Не выдержал.

Вероятности, которые отдает классификатор, бессмысленны. Это не вероятности. Если вам они нужны, то вы их не можете использовать. Не надо бежать впереди паровоза и наполнять этот факт новыми смыслами. Разберитесь хотя бы с этим.
 
СанСаныч Фоменко #:

Не выдержал.

Не бывает абстрактной, читай эталонной, идеальной,  вероятности, не привязанной к случайному процессу.

Не бывает.

Вероятность монеты, которую побрасывают и т.д.

Поэтому любой классификатор дает вероятность, которая характеризует именно этот конкретный классификатор, что дает нужную нам характеристику - ошибку предсказания. Другой классификатор даст другие вероятности с соответствующей ошибкой предсказания классов.

В зависимости от предикторов и связанных с ними меток, а также балансировки классов, возникает проблема установки порога деления вероятностей на классы. Инструменты для этой операции, называемой "калибровкой", даны выше. Можно это делать и по колхозному.

В любой случае можно существенно уменьшить ошибку предсказания  именно для тех вероятностей, которые дал конкретный классификатор, потому как нет в природе  других вероятностей при работе с конкретным классификатором. Не нравятся вероятности - работайте с классификатором или же занимайтесь калибровкой. В этом конкретном процессе нет места !идеальным" вероятностям, которых не бывает теоретически.

Ясно одно, что деление на классы по порогу 0.5 крайне сомнительно и работает в редких случаях. 

Там речь про обычные для матстата ошибки при использовании неправильной вероятностной модели. Например, если в регрессии шум на самом деле распределён по Лапласу, а мы считаем как для Гаусса, то очевидно будут ошибки.

PS. Собственно там вся суть в возврате к вероятностным истокам МО, которое, кстати, в девичестве называлось (по крайней мере в СССР) статистическим обучением)

[Удален]  

Пример уже описал выше. Есть классификатор, который проходит оос, но доходности распределены 60/40. Вам это не нравится, вы поднимаете порог принятия решений, но ситуация не меняется, а иногда становится еще хуже. Вы чешете репу, почему так.

Дано объяснение, почему так: потому что в случае реальной оценки вероятностей ситуация должна меняться.

Дано решение.


 
Maxim Dmitrievsky #:

Пример уже описал выше. Есть классификатор, который проходит оос, но доходности распределены 60/40. Вам это не нравится, вы поднимаете порог принятия решений, но ситуация не меняется, а иногда становится еще хуже. Вы чешете репу, почему так.

Дано объяснение, почему так: потому что в случае реальной оценки вероятностей ситуация должна меняться.

Дано решение


Разве это не было уже давно очевидно?
 
Постоптимизация - так же ни кто не может сказать, зато говорят - коллибровка! О как.
 
Maxim Dmitrievsky #:

Пример уже описал выше. Есть классификатор, который проходит оос, но доходности распределены 60/40. Вам это не нравится, вы поднимаете порог принятия решений, но ситуация не меняется, а иногда становится еще хуже. Вы чешете репу, почему так.

Дано объяснение, почему так: потому что в случае реальной оценки вероятностей ситуация должна меняться.

Дано решение.


Всё же хотелось бы отметить, что калибровка не будет панацеей и не является бесплатной - нужны хорошие свойства у имеющегося классификатора. Чтобы не вдаваться в объяснения, приведу цитату из второй вашей ссылки на ШАД. "В целом, можно показать, что этот метод хорошо работает, если для каждого из истинных классов предсказанные вероятности распределы нормально с одинаковыми дисперсиями." Это про калибровку Платта, но и для других тоже наверняка должны выполняться какие-нибудь условия.

Собственно, всё как в матстате - вероятностные свойства используемой модели должны соответствовать изучаемым данным.

[Удален]  
Aleksey Nikolayev #:

Всё же хотелось бы отметить, что калибровка не будет панацеей и не является бесплатной - нужны хорошие свойства у имеющегося классификатора. Чтобы не вдаваться в объяснения, приведу цитату из второй вашей ссылки на ШАД. "В целом, можно показать, что этот метод хорошо работает, если для каждого из истинных классов предсказанные вероятности распределы нормально с одинаковыми дисперсиями." Это про калибровку Платта, но и для других тоже наверняка должны выполняться какие-нибудь условия.

Собственно, всё как в матстате - вероятностные свойства используемой модели должны соответствовать изучаемым данным.

Ну конечно, это просто способ привести аутпуты в вероятностый вид, потому что использование сырых вероятностей модели вообще бесполезно.

[Удален]  
Обсусждали давно, по итогу пришли к переоптимизации ф-й :)
 
Andrey Dik #:
Обсуждали эту тему ещё во времена Свинозавра, Математа, Гранита и Метадрайвера, то есть очень давно.
Не видел у них этой темы, возможно просто пропустил (раньше больше читал Киберпаука). Речь про модели, в которых в качестве выходов получаются вероятностные распределения, а не конкретные числовые значения. Не сказать что это какой-то совсем уж новый подход, но в последние годы есть заметный подъём интереса к этой теме.
 
Aleksey Nikolayev #:
Не видел у них этой темы, возможно просто пропустил (раньше больше читал Киберпаука). Речь про модели, в которых в качестве выходов получаются вероятностные распределения, а не конкретные числовые значения. Не сказать что это какой-то совсем уж новый подход, но в последние годы есть заметный подъём интереса к этой теме.

Ну как же, было множество попыток, правда я не знаю их успешных публичных результатов. Самое простое, что делалось - трактовать выход единичного нейрона как вероятность селл/бай в диапазоне [-1.0;1.0], ничего хорошего из этого не получилось, применение порога не помогает.

Другое дело, что можно применять распределение выходов нейрона как вероятность, но я не видел что бы это кто-то делал. К примеру, при одних и тех же сигналах селл/бай выходного нейрона сети при обучении, распределение значений может сильно отличаться, соответственно и поведение на OOS будет разным.

К тому же, я давно показывал графики обучения и поведения на OOS, где линия идёт не переламываясь, конечно без спреда, причем на вход подавались приращения простых машек с разных тайфреймов, элементарщина. А тут вот некоторые гении вдруг сделали "гениальный" вывод, что спред влияет на поведение на OOS.