Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 1305

 
Aleksey Vyazmikin:

Изменение показателей в зависимости от смещения порога "вероятности" для классификации 0/1 от 0,45 до 0,65

По сути точность

Из гистограмм видно, что повышение точности классификации происходит достаточно плавно при смещении порога вероятности для классификации, чего нельзя сказать о прибыли.

Получается, что нужно учитывать не только эффективность классификации, но и давать оценку тому, как распределена прибыль между правилами (листьями), и какой порог чувствительности у них. Т.е. как не крути, а надо вытаскивать отдельные правила и давать им оценку.

Прибыли меньше при 0,65 потому, что сделок тоже меньше. Например вместо 100, будет 10 сделок.  Можно увеличить лот

 
Aleksey Vyazmikin:

Изменение показателей в зависимости от смещения порога "вероятности" для классификации 0/1 от 0,45 до 0,65

По сути точность

Из гистограмм видно, что повышение точности классификации происходит достаточно плавно при смещении порога вероятности для классификации, чего нельзя сказать о прибыли.

Получается, что нужно учитывать не только эффективность классификации, но и давать оценку тому, как распределена прибыль между правилами (листьями), и какой порог чувствительности у них. Т.е. как не крути, а надо вытаскивать отдельные правила и давать им оценку.

поднимайте порог, когда модель будет портиться то сделок будет меньше и меньше на новых данных, вероятности будут крутиться около ноля, это хорошее время для переобучения

что бы поднять пороги нужно что бы ошибка была невысокой, иначе сигналов вообще не будет
 
elibrarius:

Прибыли меньше при 0,65 потому, что сделок тоже меньше. Например вместо 100, будет 10 сделок.  Можно увеличить лот

Число сделок, и прибыльных сделок как раз меняется достаточно плавно (трейд - это сделка/2 по логике MT)

Просто убыток не стабилен на сделку, так-как стоп лосс не фиксированный.

 
elibrarius:
увидел)
В общем неразбериха с терминологией

Предлагаю свою терминалогию (ей буду придерживаться пока):

1. Учебная выборка - та на которой происходит создание модели

2. Тестовая выборка - используется для контроля качества обучения модели, в том числе остановки обучения

3. Экзаменационная выборка - независящая от обучения, используется для оценки качества получившейся модели

 
Maxim Dmitrievsky:

поднимайте порог, когда модель будет портиться то сделок будет меньше и меньше на новых данных, вероятности будут крутиться около ноля, это хорошее время для переобучения

что бы поднять пороги нужно что бы ошибка была невысокой, иначе сигналов вообще не будет

Да это понятно. Как раз сигналы и пропадают из-за отсутствия воспроизведения связей в листьях, особенно если большая их суммарная активационная часть крутилась возле 0,5, и выглядела как сумма 0,1+0,05+0,08+0,25+0,03 - выпала одна из сумм и все, не происходит активации.

 
Aleksey Vyazmikin:

Да это понятно. Как раз сигналы и пропадают из-за отсутствия воспроизведения связей в листьях, особенно если большая их суммарная активационная часть крутилась возле 0,5, и выглядела как сумма 0,1+0,05+0,08+0,25+0,03 - выпала одна из сумм и все, не происходит активации.

значит алгоритм плохо обобщает на новые данные, надо крутить-вертеть дальше ) грубо - переобучен

 
Maxim Dmitrievsky:

10% ошибки на тест и трейн для ~10к примеров, при увеличении плавно растет

при такой ошибке модели начали работать на новых данных

на валидации по разному, перебирать варианты надо

Алгоритмы больше не раскрываю, просто общаюсь

О! Вот это дело! Почти как у меня! Говорил же не нужно слушать фсяких алёш и волшебников :) 

 
Maxim Dmitrievsky:

значит алгоритм плохо обобщает на новые данные, надо крутить-вертеть дальше ) грубо - переобучен

Вот и кручу верчу, себя обмануть не хочу :)

Сейчас добавлю новую дозу предикторов...

 
Кеша Рутов:

О! Вот это дело! Почти как у меня! Говорил же не нужно слушать фсяких алёш и волшебников :) 

чето ты быстро переобулся, товарищч

 
elibrarius:

Что-то подозрительно мало. Перервенко в своих статьях даже на зигзагах такого не достиг.

Цыц нечистый! Народ худо бедно становится на правильный путь, не мешать! ША!!! ТС-ссс...

Причина обращения: