Традиционное машинное обучение учит специалистов быть бдительными и не допускать переобучения своих моделей. Однако эта идеология подвергается сомнению в связи с новыми открытиями, опубликованными исследователями из Гарварда, которые обнаружили, что то, что кажется переобучением, в некоторых обстоятельствах может быть результатом преждевременного прекращения процедур обучения. Мы покажем, как можно использовать идеи этой научной публикации для улучшения использования ИИ при прогнозировании доходности рынка.
Существует множество методов обнаружения переобучения при разработке моделей ИИ. Самый надежный метод — это изучение графиков ошибок тестирования и обучения модели. Поначалу оба графика могут совпасть, что является хорошим знаком. По мере продолжения обучения нашей модели мы достигнем оптимального уровня ошибки, и как только мы его преодолеем, ошибка обучения продолжит снижаться, но ошибка тестирования только увеличится. Для решения этой проблемы было разработано много методов, например, ранняя остановка. Ранняя остановка прекращает процедуру обучения, если ошибка проверки модели существенно не меняется или постоянно ухудшается. После этого восстанавливаются лучшие веса, и предполагается, что найдена лучшая модель, как показано на рисунке 1 ниже.
Для авторизации и пользования сайтом MQL5.com необходимо разрешить использование файлов Сookie.
Пожалуйста, включите в вашем браузере данную настройку, иначе вы не сможете авторизоваться.
Вы вошли в аккаунт. Двухфакторная аутентификация отключена. Настройте её заново и отсканируйте новый QR-код или продолжите с отключённой двухфакторной аутентификацией.
Опубликована статья Самооптимизирующийся советник на языках MQL5 и Python (Часть VI): Использование преимуществ глубокого двойного спуска:
Существует множество методов обнаружения переобучения при разработке моделей ИИ. Самый надежный метод — это изучение графиков ошибок тестирования и обучения модели. Поначалу оба графика могут совпасть, что является хорошим знаком. По мере продолжения обучения нашей модели мы достигнем оптимального уровня ошибки, и как только мы его преодолеем, ошибка обучения продолжит снижаться, но ошибка тестирования только увеличится. Для решения этой проблемы было разработано много методов, например, ранняя остановка. Ранняя остановка прекращает процедуру обучения, если ошибка проверки модели существенно не меняется или постоянно ухудшается. После этого восстанавливаются лучшие веса, и предполагается, что найдена лучшая модель, как показано на рисунке 1 ниже.
Автор: Gamuchirai Zororo Ndawana