Обсуждение статьи "Архитектура машинного обучения для MetaTrader 5 (Часть 19): Режимы бэггинга"

[MetaQuotes]

Опубликована статья Архитектура машинного обучения для MetaTrader 5 (Часть 19): Режимы бэггинга:

Мы проверяем утверждение AFML о том, что последовательный бутстрэп снижает корреляцию между деревьями в ансамбле бэггинга на метках метода тройного барьера с перекрывающимися временными интервалами, раздельно исследуя два фактора: число наблюдений в выборке и правило отбора. Бэггинг с одной и той же базовой моделью — деревом решений — применяется в четырёх режимах формирования выборки строк и оценивается на данных EURUSD за 2022–2023 годы по уникальности сформированных выборок, корреляции между деревьями, AUC и калибровке вероятностных прогнозов. Снижение корреляции почти полностью достигается за счёт ограничения max_samples до уровня средней уникальности; последовательный бутстрэп даёт лишь небольшой дополнительный эффект. Завышение OOB-оценки наиболее выражено при последовательном бутстрэпе с полным числом извлечений.

Дисперсия бэггинг-ансамбля из N базовых моделей, каждая из которых имеет дисперсию σ², при средней попарной корреляции между ними ρ задаётся формулой из §6.2 AFML: ρσ² + (1−ρ)σ²/N. По мере увеличения N второй член исчезает, а первый — нет. Дисперсия ограничена снизу величиной ρσ². Бэггинг снижает дисперсию лишь в той мере, в какой снижена корреляция между базовыми моделями, и никакое число деревьев не спасет ансамбль, у которого ρ остается высоким.

Перекрывающиеся метки метода тройного барьера повышают ρ. Событие, начавшееся на баре t, может завершиться лишь на баре t + 20, поэтому у последовательных событий временные интервалы формирования исхода в значительной степени перекрываются. При стандартном бутстрэпе отбор из этих почти дублирующих друг друга строк выполняется с возвращением, поэтому два дерева получают во многом одинаковую информацию, а их прогнозы согласуются сильнее, чем прогнозы независимых деревьев. Средняя уникальность, описанная в §4.4 AFML, количественно характеризует избыточность: для каждого события это среднее за время его существования значение величины, обратной числу одновременно активных событий. На используемых здесь тиковых барах EURUSD этот показатель составляет 0.435, то есть эффективный объём независимой выборки значительно меньше половины номинального числа строк.

В AFML §4.5 для решения этой проблемы предлагается последовательный бутстрэп. Вместо равновероятного отбора алгоритм выбирает каждый следующий индекс с вероятностью, которая уменьшается по мере роста перекрытия соответствующего события с уже выбранными событиями, тем самым формируя выборку с меньшей одновременной активностью меток. Проверяется конкретное утверждение: именно это правило отбора, а не просто сокращение числа извлечений, которое обычно его сопровождает, снижает ρ.

Автор: Patrick Murimi Njoroge