Обсуждение статьи "Архитектура машинного обучения в MetaTrader 5 (Часть 22): Аудит критерия отбора — оценка переобучения при поиске гиперпараметров"

Опубликована статья Архитектура машинного обучения в MetaTrader 5 (Часть 22): Аудит критерия отбора — оценка переобучения при поиске гиперпараметров:

Мы показываем, что вложенная кросс-валидация устраняет оптимистическое смещение оценки, но не предотвращает переобучение при поиске гиперпараметров на конечной выборке, и добавляем диагностический метод для случаев, когда критерий не позволяет различить кандидатов на фоне шума. Мы реализуем OffsetPurgedKFold (повторное разбиение со сдвигом границ), аудит дисперсии критерия (коэффициент разрешения и устойчивость отбора), кривую оптимизма при отборе, скорректированное правило одной стандартной ошибки, раннюю остановку на основе уровня шума и расчет эффективного числа испытаний для коррелированных испытаний. В результате получаем отчет о разбросе для каждого кандидата и эффективное число испытаний для расчета дефлированного коэффициента Шарпа.

В части 16 мы перенесли поиск гиперпараметров внутрь каждого внешнего фолда и стали сообщать полученную оценку вложенной кросс-валидации вместо наилучшего значения, найденного в ходе самого поиска. Это позволило устранить конкретную проблему: теперь публикуемое нами число оценивает качество работы конвейера на данных, которые он никогда не использовал, а не представляет собой максимум величины, на максимизацию которой в ходе поиска были потрачены сотни испытаний.

Это закрыло одну дыру, но оставило открытой другую, более крупную. Вложенная кросс-валидация позволяет честно отразить ухудшение качества в публикуемой оценке; она не уменьшает это ухудшение и — что важно — не позволяет выделить ту его часть, которая обусловлена именно переобучением при отборе моделей. Вложенная кросс-валидация оценивает весь конвейер от начала до конца. Если полученная оценка низкая, причиной могут быть переобучение при отборе моделей, смена режима между фолдами, шум в метках, нестабильный набор признаков или любое сочетание этих факторов. Чтобы отнести ухудшение качества исключительно на счет переобучения при отборе моделей, необходим контрфактуальный эталон: «оракул», знающий лучшие гиперпараметры, конвейер с фиксированными гиперпараметрами, оцениваемый на тех же фолдах, или независимое повторное формирование выборок для процедуры отбора. В этой статье разрабатываются диагностические инструменты, однако читателю следует с самого начала понимать, что описанный ниже коэффициент разрешения измеряет локальную способность критерия различать кандидатов, а не совокупный ущерб, связанный с работой конвейера. Это связанные между собой, но различные величины. При таком поиске гиперпараметры по-прежнему настраиваются на основе конечной выборки, по-прежнему выявляются все особенности, присущие этой выборке, и по-прежнему получается модель, частично сформированная под влиянием шума. Ни на одном этапе конвейера не ставится предварительный вопрос: способен ли поиск на этой выборке и с этим критерием вообще отличить один вектор гиперпараметров от другого?

В этой статье на этот вопрос дается числовой ответ. Мы реализуем afml.cross_validation.selection_overfit. Этот инструмент измеряет разброс значений критерия при допустимых повторных разбиениях одних и тех же данных, сравнивает его с разбросом оценок кандидатов и выводит их отношение — точнее, отношение разброса оценок кандидатов к уровню шума (сигнал к шуму, а не шум к сигналу). В приведенном ниже исследовании этот коэффициент составляет 0.49. Уровень шума критерия примерно вдвое превышает разброс, который этот критерий должен позволять различать. При этом условии поиск выбирал кандидата, лучшего в среднем, лишь на одном разбиении из восьми, а на данной конкретной выборке двадцать шесть из шестидесяти отклоненных кандидатов превзошли его по оценке на отложенном блоке. (Как объясняется в разделе 6, само по себе это последнее число не доказывает, что равномерный случайный выбор дал бы лучший результат; оно показывает лишь, что конкретный кандидат, выбранный с помощью argmax, не обладал наилучшей способностью к обобщению.)


Автор: Patrick Murimi Njoroge