Машинное обучение в трейдинге: теория, модели, практика и алготорговля - страница 2584

[Удален]
Кастомные метрики используются для выбора моделей, но обучение все равно по стандартным (логлосс для классификации, например). Потому что ваша метрика никак не связана с отношением фича/целевая, а стандартные связаны. И здесь как бы не понятно, отбирать потом модели по Sharpe Ratio или R2, или сразу сделать остановку обучения при их максимизации. Наверное, можно делать и так и эдак.
mytarmailS #:
А чем сама максимизация не подходит?

Могут быть проблемы с плохой обусловленностью, которая зависит от используемых метрик. Может быть проблема с подсчётом градиента и гессиана для бустинга.

[Удален]
Aleksey Nikolayev #:

Могут быть проблемы с плохой обусловленностью, которая зависит от используемых метрик. Может быть проблема с подсчётом градиента и гессиана для бустинга.

В случае большого пространства признаков (десятки фичей), как определить заранее какая обусловленность будет лучше?) и какую ф-ю поставить 
Maxim Dmitrievsky #:
Кастомные метрики используются для выбора моделей, но обучение все равно по стандартным (логлосс для классификации, например). Потому что ваша метрика никак не связана с отношением фича/целевая, а стандартные связаны. И здесь как бы не понятно, отбирать потом модели по Sharpe Ratio или R2, или сразу сделать остановку обучения при их максимизации. Наверное, можно делать и так и эдак.

Всё же, было бы интересно поэкспериментировать с полным отказом от стандартных метрик и заменой их похожими на те, что используются при оптимизации в метатрейдере) Скорее всего, придётся переходить на более низкий уровень и работать непосредственно с оптимизационными пакетами - что-нибудь типа такого.

Не готов утверждать что грааль обеспечен) Но думаю как-нибудь попробовать разобраться в этом.

Fitting Linear Models with Custom Loss Functions in Python
  • alex.miller.im
As part of a predictive model competition I participated in earlier this month, I found myself trying to accomplish a peculiar task. The challenge organizers were going to use “mean absolute percentage error” (MAPE) as their criterion for model evaluation. Since this is not a standard loss function built into most software, I decided to write...
[Удален]
Aleksey Nikolayev #:

Всё же, было бы интересно поэкспериментировать с полным отказом от стандартных метрик и заменой их похожими на те, что используются при оптимизации в метатрейдере) Скорее всего, придётся переходить на более низкий уровень и работать непосредственно с оптимизационными пакетами - что-нибудь типа такого.

Не готов утверждать что грааль обеспечен) Но думаю как-нибудь попробовать разобраться в этом.

Интересно, но не понятно с чего начать. В лосс должны закладываться какие-то представления о рыночных закономерностях, видимо. Ну, например, можно сделать поправки на волатилтность
Maxim Dmitrievsky #:
В случае большого пространства признаков (десятки фичей), как определить заранее какая обусловленность будет лучше?) и какую ф-ю поставить 

Наверняка, для стандартных метрик обусловленность всегда лучше - иначе бы они не стали стандартом) Но разве может это помешать заняться изобретением своих велосипедов)

Maxim Dmitrievsky #:
Интересно, но не понятно с чего начать. В лосс должны закладываться какие-то представления о рыночных закономерностях, видимо. Ну, например, можно сделать поправки на волатилтность

Думаю начать совсем с простого - классификации логистической регрессией на два класса (входим/не входим) и с небольшим количеством признаков. Просто чтобы понять почему тема не очень популярна.

Maxim Dmitrievsky #:
Кастомные метрики используются для выбора моделей, но обучение все равно по стандартным (логлосс для классификации, например). Потому что ваша метрика никак не связана с отношением фича/целевая, а стандартные связаны. И здесь как бы не понятно, отбирать потом модели по Sharpe Ratio или R2, или сразу сделать остановку обучения при их максимизации. Наверное, можно делать и так и эдак.

Полное заблуждение, мне как то аж стыдно за тебя..

Aleksey Nikolayev #:

Всё же, было бы интересно поэкспериментировать с полным отказом от стандартных метрик и заменой их похожими на те, что используются при оптимизации в метатрейдере) Скорее всего, придётся переходить на более низкий уровень и работать непосредственно с оптимизационными пакетами

Это то что я вам уже талдычу с пол года , обучать АМО лучше через ФИТНЕС ФУНКЦИЮ!!

[Удален]
mytarmailS #:

Полное заблуждение, мне как то аж стыдно за тебя..

Ты сейчас выразил японский стыд за все мировое сообщество ) Есть большой набор кастомных метрик, но основное обучение на минимизацию логлосса. Остановку обучения по кастомным делают. Совпадение основой с кастомными большое, нет смысла выёживаться. Учись, студент
Maxim Dmitrievsky #:
Ты сейчас выразил японский стыд за все мировое сообщество ) Есть большой набор кастомных метрик, но основное обучение на минимизацию логлосса. Остановку обучения по кастомным делают. Совпадение основой с кастомными большое, нет смысла выёживаться. Учись, студент

учусь, всю жызнь студент