Оценка важности признаков часто занижает вклад коррелированных предикторов, распределяя один сигнал между множеством сконструированных копий, тогда как несвязанные шумовые признаки могут оказаться выше в рейтинге. Мы измеряем этот эффект, сопоставляя результаты с заранее известной истинной картиной, и сравниваем четыре способа его устранения: перестановочную важность с перекрестной проверкой с очисткой, модели на основе одного признака, кластерный MDI и кластерный MDA. Результаты включают рейтинги для каждого метода и коэффициент размывания для каждого кластера, которые помогают выявить истинные сигналы и избежать удаления ценных признаков.
В конце работы обученная модель, рассматриваемая в этой серии статей, усредняет значения feature_importances_ по всем деревьям своего ансамбля и сортирует результат. Этот столбец отвечает на один узкий вопрос: какие столбцы деревья использовали для наиболее эффективных разбиений на обучающей выборке? Это внутривыборочная оценка, специфичная для моделей на основе деревьев, и у нее есть свойство, которое становится проблемой, как только число столбцов в наборе признаков превышает несколько. Два признака, несущие одинаковую информацию, взаимозаменяемы при каждом разбиении, поэтому каждый выбирается примерно в половине случаев и получает примерно половину приписываемого вклада.
Это не погрешность округления. Если на основе одного предиктора сконструировать шесть вариантов, каждый из них может оказаться в рейтинге ниже признаков, несущих лишь малую долю информации, хотя сам рейтинг будет выглядеть вполне правдоподобно. В выводе нет ничего, что указывало бы на это. Ранжирование верно отражает то, что делали деревья, но неверно отражает реальную важность признаков.
Лопес де Прадо описывает проблему и три способа ее устранения в главе 8 книги Advances in Financial Machine Learning (AFML), а четвертый — в разделе 6.5.2 книги Machine Learning for Asset Managers (MLAM). В этой статье масштаб проблемы оценивается на данных, в которых правильный ответ задан при их построении; затем применяется каждый из способов коррекции и указывается, какие из них позволяют восстановить этот ответ. Два из этих методов дают расходящиеся результаты, причем это расхождение обусловлено самими методами, а не данными.
Для авторизации и пользования сайтом MQL5.com необходимо разрешить использование файлов Сookie.
Пожалуйста, включите в вашем браузере данную настройку, иначе вы не сможете авторизоваться.
Вы вошли в аккаунт. Двухфакторная аутентификация отключена. Настройте её заново и отсканируйте новый QR-код или продолжите с отключённой двухфакторной аутентификацией.
Опубликована статья Архитектура машинного обучения для MetaTrader 5 (Часть 21): Анализ важности признаков:
В конце работы обученная модель, рассматриваемая в этой серии статей, усредняет значения feature_importances_ по всем деревьям своего ансамбля и сортирует результат. Этот столбец отвечает на один узкий вопрос: какие столбцы деревья использовали для наиболее эффективных разбиений на обучающей выборке? Это внутривыборочная оценка, специфичная для моделей на основе деревьев, и у нее есть свойство, которое становится проблемой, как только число столбцов в наборе признаков превышает несколько. Два признака, несущие одинаковую информацию, взаимозаменяемы при каждом разбиении, поэтому каждый выбирается примерно в половине случаев и получает примерно половину приписываемого вклада.
Это не погрешность округления. Если на основе одного предиктора сконструировать шесть вариантов, каждый из них может оказаться в рейтинге ниже признаков, несущих лишь малую долю информации, хотя сам рейтинг будет выглядеть вполне правдоподобно. В выводе нет ничего, что указывало бы на это. Ранжирование верно отражает то, что делали деревья, но неверно отражает реальную важность признаков.
Лопес де Прадо описывает проблему и три способа ее устранения в главе 8 книги Advances in Financial Machine Learning (AFML), а четвертый — в разделе 6.5.2 книги Machine Learning for Asset Managers (MLAM). В этой статье масштаб проблемы оценивается на данных, в которых правильный ответ задан при их построении; затем применяется каждый из способов коррекции и указывается, какие из них позволяют восстановить этот ответ. Два из этих методов дают расходящиеся результаты, причем это расхождение обусловлено самими методами, а не данными.
Автор: Patrick Murimi Njoroge