Обсуждение статьи "Взаимная информация как критерий для поэтапного отбора признаков"

 

Опубликована статья Взаимная информация как критерий для поэтапного отбора признаков:

В настоящей статье мы представляем реализацию поэтапного отбора признаков на MQL5, основанную на взаимной информации между оптимальным набором предикторов и целевой переменной.

Взаимная информация является ценным инструментом для выявления эффективных предикторов, особенно когда речь идет о сложных, нелинейных взаимосвязях. Он может выявлять зависимости, которые могут быть упущены другими методами, что делает его особенно подходящим для моделей, которые могут использовать такие сложности. В настоящей статье рассматривается применение взаимной информации при отборе признаков. Основное внимание уделяется алгоритму, предложенному Ханчуан Пенгом (Hanchuan Peng), Фухуэй Лонгом (Fuhui Long) и Крисом Дином (Chris Ding) в их исследовательской работе под названием "Выбор признаков на основе взаимной информации: Критерии максимальной зависимости, максимальной релевантности и минимальной избыточности» ("Feature Selection Based on Mutual Information: Criteria of Max-Dependency, Max-Relevance, and Min-Redundancy").

Начнем с обсуждения оценки взаимной информации для непрерывных переменных, а затем углубимся в сам процесс отбора признаков. Наконец, мы проиллюстрируем эффективность алгоритма на примерах, использующих как синтетические, так и реальные наборы данных.


Автор: Francis Dube