Обсуждение статьи "Преодоление ограничений машинного обучения (Часть 1): Нехватка совместимых метрик"

Новый комментарий
 

Опубликована статья Преодоление ограничений машинного обучения (Часть 1): Нехватка совместимых метрик:

Существует мощная и всепроникающая сила, которая незаметно подрывает коллективные усилия нашего сообщества по созданию надежных торговых стратегий, использующих ИИ в той или иной форме. В настоящей статье показано, что часть проблем, с которыми мы сталкиваемся, коренится в слепом следовании «лучшим практикам». Предоставляя читателю простые, основанные на реальном рынке доказательства, мы объясним ему, почему мы должны воздержаться от такого поведения и вместо этого принять передовой опыт, основанный на конкретных областях, если наше сообщество хочет получить хоть какой-то шанс на восстановление скрытого потенциала ИИ.

Представьте, что вы участвуете в соревновании типа лотереи. Вы и 99 других человек случайным образом выбраны для игры за джекпот в размере 1 000 000 долларов. Правила просты: вам необходимо угадать рост остальных 99 участников. Победителем становится тот, у кого будет наименьшая общая ошибка среди 99 попыток.

А теперь немного неожиданно: для этого примера представьте, что средний рост человека в мире составляет 1,1 метра. Если вы просто предположите вариант 1,1 метра для каждого, вы действительно можете выиграть джекпот, даже если каждое предсказание технически неверно. И почему же? Потому что в шумной, неопределенной обстановке угадывание среднего значения, как правило, дает наименьшую общую ошибку.


Автор: Gamuchirai Zororo Ndawana

[Удален]  

"Однако наша стратегия демонстрирует способность восстанавливаться и оставаться на верном пути, а это именно то, к чему мы стремимся."

Мне всегда казалось, что стремиться нужно к тому, чтобы стратегия генерила профит :)

 
Maxim Dmitrievsky #:

"Однако наша стратегия показывает способность восстанавливаться и оставаться на трассе, а это именно то, к чему мы стремимся".

Я всегда считал, что нужно стремиться к тому, чтобы стратегия приносила прибыль :)

Да, действительно, но, к сожалению, у нас до сих пор нет стандартизированных метрик машинного обучения, которые учитывали бы разницу между прибылью и убытками.
 

Спасибо за статью, @Gamuchirai Zororo Ndawana.

Я согласен с @Maxim Dmitrievsky, что конечной целью является прибыльность. Идея "восстановиться и не сбиться с пути" имеет смысл в качестве контроля устойчивости и просадки, но она не заменяет прибыль.

Что касается метрик: действительно, не существует стандартизированной метрики ML, учитывающей PnL, хотя на практике модели проверяются с помощью Sharpe, Sortino, Calmar, profit factor, max DD, плюс асимметричные потери или вознаграждения в обучении с подкреплением (стиль RL), которые включают PnL и затраты (расходы и оборот).

С технической точки зрения, я бы обратил внимание на два ключевых момента в статье:
.
  • Примеры содержат смещение вперед (функции, использующие i + HORIZON), что делает оценку недействительной;
  • Тест DRS на то, что "сумма равна нулю", является тавтологией, поскольку две метки антисимметричны по своей конструкции, и не доказывает понимания рынка.
Тем не менее, напоминание о том, что не следует выбирать по RMSE или MAE для доходности, полезно.

Практическое предложение: тестирование методом walk-forward, затраты и проскальзывание, асимметричные или квантильные цели, основанные на потерях или полезности, и штрафование оборота, чтобы избежать "обнимания среднего". (Прагматичный подход: согласуйте убытки с тем, как вы зарабатываете деньги).
 

Цитата: Да, но, к сожалению, у нас до сих пор нет стандартизированных метрик машинного обучения, которые бы понимали разницу между прибылью и убытком.

Ответ: Колонки прибыли и убытков будут существовать только в том случае, если ваш продукт, прошедший обратное тестирование, или флэтовый рынок так же хорош, как и форвардный рынок, который вы используете против последующего портфеля или корзины индексов, которые будут следовать за этой линией ордеров.

Есть некоторые индексы и недавно основанные ETF, которые выходят или которые производятся на растущей основе, как для этого предполагаемого использования, и будут давать эти результаты, прибыли, такие как индекс dowjones 30, а также многие другие индексы, которые были созданы для этого предполагаемого использования. Питер Мэтти

 
Miguel Angel Vico Alba # :

Спасибо за статью, @Gamuchirai Zororo Ndawana .

Я согласен с @Maxim Dmitrievsky , что конечная цель - это прибыльность. Идея восстанавливаться и не сходить с дистанции имеет смысл для устойчивости и контроля просадки, но это не заменит прибыли.

Что касается метрик: действительно, не существует стандартной метрики ML, которая учитывала бы PnL, хотя на практике модели проверяются с помощью Sharpe, Sortino, Calmar, Win Factor, Max DD, а также асимметричных потерь или вознаграждений в обучении с подкреплением (стиль RL), которые включают PnL и стоимость (затраты и доход).

С технической точки зрения, я бы отметил два важных момента в статье:
.
  • Примеры содержат смещение вперед (признаки с i + HORIZON), что делает оценку недействительной;
  • Тест DRS, где "сумма равна нулю", тавтологичен, поскольку два термина антисимметричны по замыслу; он не демонстрирует понимание рынка.
Тем не менее, совет не выбирать на основе RMSE или MAE доходности является полезным. Практические рекомендации: Тестирование "на ходу", затраты и проскальзывание, асимметричные или квантильные цели, основанные на потерях или выгодах, и штрафование доходов во избежание "обнимания среднего". (Прагматичный подход: согласовывайте убытки с тем, как вы зарабатываете деньги).

Иногда я задумываюсь о том, что инструменты перевода, на которые мы полагаемся, могут не улавливать оригинальное послание. Ваш ответ предлагает гораздо больше тезисов, чем то, что я понял из оригинального сообщения @Maxim Dmitrievsky .

Спасибо за то, что указали на огрехи в предвзятом отношении (функции с i + HORIZON), это худшие ошибки, которые я ненавижу, они требуют повторного тестирования. Но на этот раз более вдумчиво.

Вы также предоставили ценную информацию о мерах валидации, используемых для проверки моделей на практике, коэффициент Шарпа должен быть сродни универсальному золотому стандарту. Мне нужно больше узнать о Calmar и Sortino, чтобы составить свое мнение о них, спасибо вам за это.

Я согласен с вами, что эти два термина антисимметричны по замыслу, и тест заключается в том, что модели должны оставаться антисимметричными, любое отклонение от этого ожидания - это провал теста. Если одна или обе модели имеют неприемлемую погрешность, то их предсказания не будут оставаться антисимметричными, как мы ожидаем.

Однако понятие прибыли - это лишь простая иллюстрация, которую я привел, чтобы подчеркнуть проблему. Ни одна из существующих сегодня метрик не информирует нас о том, когда происходит "обнимание среднего". Ни в одной литературе по статистическому обучению не говорится о том, почему происходит обнимание среднего. К сожалению, это происходит из-за лучших практик, которым мы следуем, и это лишь один из многих способов, с помощью которых я хочу начать больше разговоров об опасности лучших практик.

Эта статья была скорее криком о помощи, о том, чтобы мы собрались вместе и разработали новые протоколы с нуля. Новые стандарты. Новые цели, над которыми будут работать непосредственно наши оптимизаторы и которые будут отвечать нашим интересам.

Новый комментарий