Обсуждение статьи "Декомпозиция частичной информации: Когда два индикатора вместе информативнее, чем каждый по отдельности"

[MetaQuotes]

Опубликована статья Декомпозиция частичной информации: Когда два индикатора вместе информативнее, чем каждый по отдельности:

Мы представляем библиотеку декомпозиции частичной информации для MQL5, которая разделяет информацию двух источников о целевой переменной на четыре атома: два уникальных (по одному для каждого источника), общий и синергетический. В реализации используются квантильное разбиение на бины, предвычисленные логарифмы и подгонка по принципу максимальной энтропии (для I_ccs). Результаты сопоставляются с нулевой моделью на основе блочных перестановок, поскольку на конечных выборках оценки атомов превышают ноль. Используйте ее для отбора пар индикаторов и проверки статистической значимости, включая поправку на множественные сравнения на уровне семейства тестов.

Начнем с того, что уже дает информация Шеннона. Для целевой переменной T и источников X1 и X2 есть три величины взаимной информации, которые можно вычислить непосредственно по совместному распределению: I(T;X1), I(T;X2) и I(T;X1,X2), причем пара рассматривается как одна составная переменная. Через четыре атома они выражаются следующим образом:

I(T;X1) = U1 + R
I(T;X2) = U2 + R
I(T;X1,X2) = U1 + U2 + R + S

Три уравнения, четыре неизвестных — и никакие алгебраические ухищрения не устраняют эту неопределенность. Одна лишь информация Шеннона не определяет эту декомпозицию. Обычно дополнительно задают определение избыточности: достаточно определить R, а остальные атомы следуют из него, поскольку U1 = I(T;X1) - R, U2 = I(T;X2) - R и S = I(T;X1,X2) - I(T;X1) - I(T;X2) + R.

Сначала стоит зафиксировать одно следствие. Если вычесть третье уравнение из суммы первых двух, получим R - S = I(T;X1) + I(T;X2) - I(T;X1,X2) — коинформацию, которая определяется данными и остается неизменной при любой мере избыточности. При любой аксиоме избыточности разность R - S должна совпадать с коинформацией, вычисленной непосредственно по данным. Это самая сильная из доступных внутренних проверок; на логических функциях с аналитически известными результатами погрешность составляет 0,000e+00.

Канонический способ понять смысл четырех атомов — выполнить декомпозицию для логических функций, результаты которых известны аналитически: RDN (оба источника копируют целевую переменную), UNQ1 (целевая переменная — первый источник, второй — независимый бросок монеты), XOR, AND, OR и COPY (целевая переменная — пара).

Автор: Hammad Dilber