Перестановочные тесты, предполагающие обменность наблюдений, приводят к неверной калибровке предварительного отбора признаков при перекрытии финансовых меток, в результате чего частота ложноположительных результатов на данных EURUSD возрастает в десять раз. В статье реализован откалиброванный конвейер с тремя этапами проверки: ADF+KPSS для проверки стационарности, энтропия на равномерной сетке с учетом доли наблюдений в модальном интервале и взаимная информация, скорректированная с помощью совместного перестановочного нулевого распределения и поправки Уэстфолла — Янга max-T. Отчет ScreeningReport содержит сводку результатов этапов проверки и эффективное число тестов, что позволяет надежно отфильтровать признаки перед обучением моделей.
В каждой статье этой серии вплоть до 19-й части предполагалось, что матрица признаков уже существует. Появляется столбец-кандидат, к нему применяется дробное дифференцирование или z-стандартизация, после чего он включается в модель. Ни на одном этапе этого конвейера не проверяется, заслуживает ли столбец включения в модель. Обычный первый шаг (расчет корреляции или быстрое построение модели с оценкой важности признаков) неявно опирается на нулевую гипотезу, которая не подходит для финансовых данных. Очевидное решение — перестановочный тест: перемешать значения целевой переменной, пересчитать статистику и посмотреть, как часто ее значение после перемешивания превышает исходное. Это решение тоже может быть некорректным, и во втором разделе статьи оценивается масштаб возникающей ошибки на данных EURUSD, а не на учебном примере.
Причина некорректной работы вполне конкретна. При обычном перемешивании ряда целевой переменной предполагается, что все наблюдения обменны. Для будущей доходности за двадцать баров предположение об обменности не выполняется: доходности для бара t и бара t+1 имеют девятнадцать общих слагаемых из двадцати. Независимая перестановка разрушает это перекрытие, поэтому нулевое распределение описывает иную и более простую задачу оценивания, чем та, с которой приходится иметь дело при проверке признака. В исследованной ниже конфигурации (синтетический признак с персистентностью проверяется на связь с реальной целевой переменной EURUSD с перекрывающимися метками) наивное перемешивание приводило к отклонению истинной нулевой гипотезы во всех 200 испытаниях при номинальном уровне значимости 5%. В том же разделе показано, что величина искажения зависит от персистентности признака, перекрытия меток и статистики критерия, поэтому она не является фиксированным свойством перемешивания.
В статье представлена реализация afml.screening с тремя этапами проверки: стационарности, энтропии и взаимной информации. Эти этапы проверки — не три варианта одной идеи. На этапе проверки 1 для каждого признака проводятся две формальные проверки гипотез (ADF и KPSS). Этап проверки 2 — описательный фильтр без нулевой гипотезы и p-значения. Этап проверки 3 — единственный этап проверки, на котором опорное распределение получают с помощью механизма ресэмплинга из раздела 2, и единственный, на котором можно отобрать признак. Все приведенные ниже числа получены на наборе данных EURUSD с таймфреймом H1, используемом во всей этой серии (42 584 выровненных бара за период с 2018 по 2024 год), при предварительном отборе признаков относительно фактически наблюдаемой будущей доходности за 20 баров. Один из девяти столбцов-кандидатов является синтетическим, что явно указано там, где он встречается.
Для авторизации и пользования сайтом MQL5.com необходимо разрешить использование файлов Сookie.
Пожалуйста, включите в вашем браузере данную настройку, иначе вы не сможете авторизоваться.
Вы вошли в аккаунт. Двухфакторная аутентификация отключена. Настройте её заново и отсканируйте новый QR-код или продолжите с отключённой двухфакторной аутентификацией.
Опубликована статья Архитектура машинного обучения в MetaTrader 5 (Часть 23): Предварительный отбор признаков:
В каждой статье этой серии вплоть до 19-й части предполагалось, что матрица признаков уже существует. Появляется столбец-кандидат, к нему применяется дробное дифференцирование или z-стандартизация, после чего он включается в модель. Ни на одном этапе этого конвейера не проверяется, заслуживает ли столбец включения в модель. Обычный первый шаг (расчет корреляции или быстрое построение модели с оценкой важности признаков) неявно опирается на нулевую гипотезу, которая не подходит для финансовых данных. Очевидное решение — перестановочный тест: перемешать значения целевой переменной, пересчитать статистику и посмотреть, как часто ее значение после перемешивания превышает исходное. Это решение тоже может быть некорректным, и во втором разделе статьи оценивается масштаб возникающей ошибки на данных EURUSD, а не на учебном примере.
Причина некорректной работы вполне конкретна. При обычном перемешивании ряда целевой переменной предполагается, что все наблюдения обменны. Для будущей доходности за двадцать баров предположение об обменности не выполняется: доходности для бара t и бара t+1 имеют девятнадцать общих слагаемых из двадцати. Независимая перестановка разрушает это перекрытие, поэтому нулевое распределение описывает иную и более простую задачу оценивания, чем та, с которой приходится иметь дело при проверке признака. В исследованной ниже конфигурации (синтетический признак с персистентностью проверяется на связь с реальной целевой переменной EURUSD с перекрывающимися метками) наивное перемешивание приводило к отклонению истинной нулевой гипотезы во всех 200 испытаниях при номинальном уровне значимости 5%. В том же разделе показано, что величина искажения зависит от персистентности признака, перекрытия меток и статистики критерия, поэтому она не является фиксированным свойством перемешивания.
В статье представлена реализация afml.screening с тремя этапами проверки: стационарности, энтропии и взаимной информации. Эти этапы проверки — не три варианта одной идеи. На этапе проверки 1 для каждого признака проводятся две формальные проверки гипотез (ADF и KPSS). Этап проверки 2 — описательный фильтр без нулевой гипотезы и p-значения. Этап проверки 3 — единственный этап проверки, на котором опорное распределение получают с помощью механизма ресэмплинга из раздела 2, и единственный, на котором можно отобрать признак. Все приведенные ниже числа получены на наборе данных EURUSD с таймфреймом H1, используемом во всей этой серии (42 584 выровненных бара за период с 2018 по 2024 год), при предварительном отборе признаков относительно фактически наблюдаемой будущей доходности за 20 баров. Один из девяти столбцов-кандидатов является синтетическим, что явно указано там, где он встречается.
Автор: Patrick Murimi Njoroge