Обсуждение статьи "Архитектура машинного обучения для MetaTrader 5 (Часть 20): Подавление шума, удаление рыночной компоненты и кластеризация корреляционной матрицы признаков"

[MetaQuotes]

Опубликована статья Архитектура машинного обучения для MetaTrader 5 (Часть 20): Подавление шума, удаление рыночной компоненты и кластеризация корреляционной матрицы признаков:

Исходные корреляции признаков содержат шум оценивания и компоненту общей рыночной моды, которые искажают результаты кластеризации. Мы оцениваем верхнюю границу шумового спектра по теореме Марченко — Пастура (с поправкой на эффективный размер выборки), подавляем шум методом выравнивания остаточных собственных значений, удаляем рыночную компоненту и запускаем алгоритм оптимального числа кластеров (ONC). В результате получаются очищенная корреляционная матрица и устойчивые метки кластеров, которые позволяют избежать эффекта замещения и служат входными данными для оценки групповой важности признаков методами среднего уменьшения неоднородности (MDI) и среднего снижения точности (MDA) в следующей статье.

Выборочная корреляционная матрица, оцененная по окну конечной длины, никогда не совпадает с истинной корреляционной матрицей. В ней присутствуют два разных источника искажений, и кластеризация чувствительна к обоим.

Первый источник — шум оценивания. При N признаках и T наблюдениях матрица, построенная на основе чисто случайных, некоррелированных данных, всё равно даёт разброс ненулевых выборочных корреляций и разброс выборочных собственных значений, отклоняющихся от 1, исключительно за счёт вариации, связанной с конечным размером выборки. Теория случайных матриц задает точную форму этого распределения при нулевой гипотезе об отсутствии корреляции; всё, что попадает в его пределы, неотличимо от шума, а всё, что выходит за них, свидетельствует о наличии реальной структуры. В разделе 7 ниже это распределение подгоняется к данным матрицы признаков, используемой в данной статье.

Второй источник — общая рыночная компонента. Признаки, полученные на основе ценовой траектории одного и того же инструмента, как правило, подвержены общему влиянию преобладающего рыночного режима: на участке с выраженным трендом и высокой волатильностью одновременно растут оценки тренда, волатильности и ряда характеристик микроструктуры независимо от того, какой специфичный для своего семейства сигнал призван выделять каждый признак. Эта общая компонента проявляется в виде необычно большого первого собственного значения с примерно одинаковыми факторными нагрузками у затронутых признаков. В разделе 2.6 MLAM прямо указано следствие этого механизма: кластеризация с трудом разделяет семейства признаков, если в корреляционной матрице присутствует сильная общая компонента, поскольку за счет нее каждый признак в некоторой степени похож на любой другой.

Подавление шума решает первую проблему. Удаление рыночной компоненты решает вторую проблему. Обе процедуры необходимы для подготовки к кластеризации; в этой статье они объединены в единый конвейер обработки, выполняемый до любых расчетов важности признаков.

Автор: Patrick Murimi Njoroge