Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3352

 

Вроде бы там речь не о точечной оценке вероятности, а об её интервальном оценивании. Для матстата это обычный подход - не просто получить конкретную числовую оценку вероятности, но ещё и получить интервал, в который истинное значение этой оцениваемой вероятности попадает с заданной точностью (вероятностью). Тут есть некоторая сложность в понимании, поскольку понятие вероятности участвует в двух разных ипостасях - как сама оцениваемая величина, так и точность её оценивания. И это совсем разные вероятности)

Хотя подробно в конформное прогнозирование не вникал и могу ошибаться.

 
Maxim Dmitrievsky #:
Вопрос не про то, что он может. А про то, как получить достоверные вероятности классов. Чтобы вы были уверены, что при вероятности класса 0.8, 80% случаев предсказывались верно. И могли бы использовать порог, например. На выходе классификатора это не так в большинстве случаев, повторяю еще раз. Они либо завышают, либо занижают оценки “by design”. Поэтому порог не работает. Реальные вероятности - это когда не завышают и не занижают.

Это у Вас не так. приведенная цифра 0.8 - это одно из значений вероятности класса.  Вот гистограмма вероятностей класса. 


А у меня именно так и никак иначе, потому, что если иначе, то означает о переобучении. Для меня при фиксированном пороге  несовпадение ошибки предсказания на ООВ и ООС и на файле ВНЕ - это главный признак переобучения. У меня порог прекрасно работает. А "реальные вероятности" - это из области некой фантастики, не имеющей никакого отношения к реально существующему коду и терминологии, используемой при этом.

[Удален]  
СанСаныч Фоменко #:

Это у Вас не так. приведенная цифра 0.8 - это одно из значений вероятности класса.  Вот гистограмма вероятностей класса. 


А у меня именно так и никак иначе, потому, что если иначе, то означает о переобучении. Для меня при фиксированном пороге  несовпадение ошибки предсказания на ООВ и ООС и на файле ВНЕ - это главный признак переобучения. У меня порог прекрасно работает. А "реальные вероятности" - это из области некой фантастики, не имеющей никакого отношения к реально существующему коду и терминологии, используемой при этом.

Как вы поняли, что ваш порог прекрасно работает?
Для вас фантастика, а для кого-то обыденность.
[Удален]  
Aleksey Nikolayev #:

Вроде бы там речь не о точечной оценке вероятности, а об её интервальном оценивании. Для матстата это обычный подход - не просто получить конкретную числовую оценку вероятности, но ещё и получить интервал, в который истинное значение этой оцениваемой вероятности попадает с заданной точностью (вероятностью). Тут есть некоторая сложность в понимании, поскольку понятие вероятности участвует в двух разных ипостасях - как сама оцениваемая величина, так и точность её оценивания. И это совсем разные вероятности)

Хотя подробно в конформное прогнозирование не вникал и могу ошибаться.

Речь о немного ином подходе, пока еще никто не загуглил :)
 
Maxim Dmitrievsky #:
Как вы поняли, что ваш порог прекрасно работает?
Для вас фантастика, а для кого-то обыденность.
Совпадение ошибки предсказания на ООВ и ООС и на файле ВНЕ
[Удален]  
СанСаныч Фоменко #:
Совпадение ошибки предсказания на ООВ и ООС и на файле ВНЕ
Как вы поняли, что классификатор дает правильные вероятности?  А не просто значения в диапазоне. Вы читаете, что вам пишут?

Если вы поставите порог 0.8, будет ли 80% сделок прибыльными? А если 0.51?

Почти что однозначно, что у вас такого не будет. Проверяйте.
 
Maxim Dmitrievsky #:
Как вы поняли, что классификатор дает правильные вероятности?  А не просто значения в диапазоне. Вы читаете, что вам пишут?

Вероятности модели дают по статистикам на выборке для обучения.

Соответственно, без репрезентативной выборки они не точны, поэтому смеритесь :)

Либо разбирайтесь из чего состоит модель, и перевзвешивайте листья, согласно придуманному алгоритму...

[Удален]  
Aleksey Vyazmikin #:

Вероятности модели дают по статистикам на выборке для обучения.

Соответственно, без репрезентативной выборки они не точны, поэтому смеритесь :)

Либо разбирайтесь из чего состоит модель, и перевзвешивайте листья, согласно придуманному алгоритму...

Вероятности модели выдают по сигмоиде, а не вот это вот все. Для простоты, берём трейн и вал., не важно что вне. И даже там у вас происходит завтык.
 
Maxim Dmitrievsky #:
Вероятности модели выдают по сигмоиде, а не вот это вот все.

Ага, ну а в функцию какую циферу кладёте, откуда она берётся?

[Удален]  
Aleksey Vyazmikin #:

Ага, ну а в функцию какую циферу кладёте, откуда она берётся?

Вы вопросом на вопрос отвечать будете? Я знаю однозначный ответ, если что.