Мы показываем, что вложенная кросс-валидация устраняет оптимистическое смещение оценки, но не предотвращает переобучение при поиске гиперпараметров на конечной выборке, и добавляем диагностический метод для случаев, когда критерий не позволяет различить кандидатов на фоне шума. Мы реализуем OffsetPurgedKFold (повторное разбиение со сдвигом границ), аудит дисперсии критерия (коэффициент разрешения и устойчивость отбора), кривую оптимизма при отборе, скорректированное правило одной стандартной ошибки, раннюю остановку на основе уровня шума и расчет эффективного числа испытаний для коррелированных испытаний. В результате получаем отчет о разбросе для каждого кандидата и эффективное число испытаний для расчета дефлированного коэффициента Шарпа.
В части 16 мы перенесли поиск гиперпараметров внутрь каждого внешнего фолда и стали сообщать полученную оценку вложенной кросс-валидации вместо наилучшего значения, найденного в ходе самого поиска. Это позволило устранить конкретную проблему: теперь публикуемое нами число оценивает качество работы конвейера на данных, которые он никогда не использовал, а не представляет собой максимум величины, на максимизацию которой в ходе поиска были потрачены сотни испытаний.
Это закрыло одну дыру, но оставило открытой другую, более крупную. Вложенная кросс-валидация позволяет честно отразить ухудшение качества в публикуемой оценке; она не уменьшает это ухудшение и — что важно — не позволяет выделить ту его часть, которая обусловлена именно переобучением при отборе моделей. Вложенная кросс-валидация оценивает весь конвейер от начала до конца. Если полученная оценка низкая, причиной могут быть переобучение при отборе моделей, смена режима между фолдами, шум в метках, нестабильный набор признаков или любое сочетание этих факторов. Чтобы отнести ухудшение качества исключительно на счет переобучения при отборе моделей, необходим контрфактуальный эталон: «оракул», знающий лучшие гиперпараметры, конвейер с фиксированными гиперпараметрами, оцениваемый на тех же фолдах, или независимое повторное формирование выборок для процедуры отбора. В этой статье разрабатываются диагностические инструменты, однако читателю следует с самого начала понимать, что описанный ниже коэффициент разрешения измеряет локальную способность критерия различать кандидатов, а не совокупный ущерб, связанный с работой конвейера. Это связанные между собой, но различные величины. При таком поиске гиперпараметры по-прежнему настраиваются на основе конечной выборки, по-прежнему выявляются все особенности, присущие этой выборке, и по-прежнему получается модель, частично сформированная под влиянием шума. Ни на одном этапе конвейера не ставится предварительный вопрос: способен ли поиск на этой выборке и с этим критерием вообще отличить один вектор гиперпараметров от другого?
В этой статье на этот вопрос дается числовой ответ. Мы реализуем afml.cross_validation.selection_overfit. Этот инструмент измеряет разброс значений критерия при допустимых повторных разбиениях одних и тех же данных, сравнивает его с разбросом оценок кандидатов и выводит их отношение — точнее, отношение разброса оценок кандидатов к уровню шума (сигнал к шуму, а не шум к сигналу). В приведенном ниже исследовании этот коэффициент составляет 0.49. Уровень шума критерия примерно вдвое превышает разброс, который этот критерий должен позволять различать. При этом условии поиск выбирал кандидата, лучшего в среднем, лишь на одном разбиении из восьми, а на данной конкретной выборке двадцать шесть из шестидесяти отклоненных кандидатов превзошли его по оценке на отложенном блоке. (Как объясняется в разделе 6, само по себе это последнее число не доказывает, что равномерный случайный выбор дал бы лучший результат; оно показывает лишь, что конкретный кандидат, выбранный с помощью argmax, не обладал наилучшей способностью к обобщению.)
Для авторизации и пользования сайтом MQL5.com необходимо разрешить использование файлов Сookie.
Пожалуйста, включите в вашем браузере данную настройку, иначе вы не сможете авторизоваться.
Вы вошли в аккаунт. Двухфакторная аутентификация отключена. Настройте её заново и отсканируйте новый QR-код или продолжите с отключённой двухфакторной аутентификацией.
Опубликована статья Архитектура машинного обучения в MetaTrader 5 (Часть 22): Аудит критерия отбора — оценка переобучения при поиске гиперпараметров:
В части 16 мы перенесли поиск гиперпараметров внутрь каждого внешнего фолда и стали сообщать полученную оценку вложенной кросс-валидации вместо наилучшего значения, найденного в ходе самого поиска. Это позволило устранить конкретную проблему: теперь публикуемое нами число оценивает качество работы конвейера на данных, которые он никогда не использовал, а не представляет собой максимум величины, на максимизацию которой в ходе поиска были потрачены сотни испытаний.
Это закрыло одну дыру, но оставило открытой другую, более крупную. Вложенная кросс-валидация позволяет честно отразить ухудшение качества в публикуемой оценке; она не уменьшает это ухудшение и — что важно — не позволяет выделить ту его часть, которая обусловлена именно переобучением при отборе моделей. Вложенная кросс-валидация оценивает весь конвейер от начала до конца. Если полученная оценка низкая, причиной могут быть переобучение при отборе моделей, смена режима между фолдами, шум в метках, нестабильный набор признаков или любое сочетание этих факторов. Чтобы отнести ухудшение качества исключительно на счет переобучения при отборе моделей, необходим контрфактуальный эталон: «оракул», знающий лучшие гиперпараметры, конвейер с фиксированными гиперпараметрами, оцениваемый на тех же фолдах, или независимое повторное формирование выборок для процедуры отбора. В этой статье разрабатываются диагностические инструменты, однако читателю следует с самого начала понимать, что описанный ниже коэффициент разрешения измеряет локальную способность критерия различать кандидатов, а не совокупный ущерб, связанный с работой конвейера. Это связанные между собой, но различные величины. При таком поиске гиперпараметры по-прежнему настраиваются на основе конечной выборки, по-прежнему выявляются все особенности, присущие этой выборке, и по-прежнему получается модель, частично сформированная под влиянием шума. Ни на одном этапе конвейера не ставится предварительный вопрос: способен ли поиск на этой выборке и с этим критерием вообще отличить один вектор гиперпараметров от другого?
В этой статье на этот вопрос дается числовой ответ. Мы реализуем afml.cross_validation.selection_overfit. Этот инструмент измеряет разброс значений критерия при допустимых повторных разбиениях одних и тех же данных, сравнивает его с разбросом оценок кандидатов и выводит их отношение — точнее, отношение разброса оценок кандидатов к уровню шума (сигнал к шуму, а не шум к сигналу). В приведенном ниже исследовании этот коэффициент составляет 0.49. Уровень шума критерия примерно вдвое превышает разброс, который этот критерий должен позволять различать. При этом условии поиск выбирал кандидата, лучшего в среднем, лишь на одном разбиении из восьми, а на данной конкретной выборке двадцать шесть из шестидесяти отклоненных кандидатов превзошли его по оценке на отложенном блоке. (Как объясняется в разделе 6, само по себе это последнее число не доказывает, что равномерный случайный выбор дал бы лучший результат; оно показывает лишь, что конкретный кандидат, выбранный с помощью argmax, не обладал наилучшей способностью к обобщению.)
Автор: Patrick Murimi Njoroge