Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 3521

Maxim Dmitrievsky #:
Ну вот признаки одни и те же, а разметки разные. И получаются разные модели.

Ну, конечно это логично. Мой метод просто позволяет откинуть фактор настройки модели.

Если утверждаете, что у Вас настройки CB не влияют значительно на процесс обучения, то сбросьте для воспроизведения такую выборку, мне будет интересно с ней ознакомится.

В любом случае, всё это разговор про рандом. Пока нет возможности быстро детектить "поломку" модели, слив будет стремительно происходить на новых данных.

[Удален]
Aleksey Vyazmikin #:

Ну, конечно это логично. Мой метод просто позволяет откинуть фактор настройки модели.

Если утверждаете, что у Вас настройки CB не влияют значительно на процесс обучения, то сбросьте для воспроизведения такую выборку, мне будет интересно с ней ознакомится.

В любом случае, всё это разговор про рандом. Пока нет возможности быстро детектить "поломку" модели, слив будет стремительно происходить на новых данных.

Там 2 модели, не так как обычно. 2 разных датасета
Maxim Dmitrievsky #:
Там 2 модели, не так как обычно. 2 разных датасета

Ну, это понятно, интересует выборка с разметкой после первой модели.

[Удален]
Aleksey Vyazmikin #:

Ну, это понятно, интересует выборка с разметкой после первой модели.

Там одновременно 2 модели. Вторая обучатся просто, торговать/не торговать. Могу скинуть завтра, на знаю правда зачем :)
Maxim Dmitrievsky #:
Там одновременно 2 модели. Вторая обучатся просто, торговать/не торговать. Могу скинуть завтра, на знаю правда зачем :)

Ещё актуально. Мне действительно интересно, так как у меня совсем другие выводы - возможно, столь разная выборка.

[Удален]
Aleksey Vyazmikin #:

Ещё актуально. Мне действительно интересно, так как у меня совсем другие выводы - возможно, столь разная выборка.

Для каждого кластера отдельный файл
Файлы:
output_csvs.zip  5242 kb
[Удален]

Получилось снизить энтропию (logloss) через разметку с добавлением некоторых "правил". То есть совмещение МО и ТС на логике.

Например, при случайной разметке хоть Accuracy и нормальный, но logloss оставлял желать лучшего

{'learn': {'Accuracy': 0.8438783894823336, 'Logloss': 0.4787490774779375}, 'validation': {'Accuracy': 0.7420178799489144, 'Logloss': 0.5603823600397243}}

А с новой разметкой получается так

{'learn': {'Accuracy': 0.9840909090909091, 'Logloss': 0.12419709401710959}, 'validation': {'Accuracy': 0.9470899470899471, 'Logloss': 0.2028722652115128}}

Прямо порадовался, реальный improvement. Не зря тему энтропии затронул.

{'learn': {'Accuracy': 0.9907674552798615, 'Logloss': 0.09702284179278793}, 'validation': {'Accuracy': 0.955585464333782, 'Logloss': 0.15982284254600834}}

:)

[Удален]
Maxim Dmitrievsky #:

Получилось снизить энтропию (logloss) через разметку с добавлением некоторых "правил". То есть совмещение МО и ТС на логике.

Например, при случайной разметке хоть Accuracy и нормальный, но logloss оставлял желать лучшего

А с новой разметкой получается так

Прямо порадовался, реальный improvement. Не зря тему энтропии затронул.

:)

Конечно, такое можно получить и при случайном семплинге. Но, по грубым расчетам, нужно сделать минимум 10000 перезапусков разметки, с учетом длины выборки и диапазона параметров. Это минимум, на уровне вероятности выпадения такой же разметки, а так в районе миллиона.

Поэтому хотелось найти быстрый способ проверки, но напрямую через энтропию не получилось. Через модель это долго.
Maxim Dmitrievsky #:
Для каждого кластера отдельный файл

Спасибо.

Взял одну выборку (кластер), обучил 100 моделей с разным seed, по 10 деревьев глубиной 6, темп 0,03.

Вот такой разброс по точности - не очень критичный, но значимый.

По откликам - тут уже значительно существенней.

И, я не менял какие либо ещё настройки - коих много в CatBoost.

В итоге считаю, что одной модели недостаточно, что бы оценить качество разметки с помощью модели.

[Удален]
Aleksey Vyazmikin #:

Спасибо.

Взял одну выборку (кластер), обучил 100 моделей с разным seed, по 10 деревьев глубиной 6, темп 0,03.

Вот такой разброс по точности - не очень критичный, но значимый.

По откликам - тут уже значительно существенней.

И, я не менял какие либо ещё настройки - коих много в CatBoost.

В итоге считаю, что одной модели недостаточно, что бы оценить качество разметки с помощью модели.

ну так в среднем оценивается

а, это уже на другом принципе, не на том что в статьях через cv. Здесь ничего не фильтровалось.