Обсуждение статьи "Критерий независимости Гильберта-Шмидта (HSIC)" - страница 2

Новый комментарий
 
Maxim Dmitrievsky #:


Ещё заметил, что чаще быстрее посчитать быстрые МО модели для определения зависимости, чем эти разные критерии, которые обычно медленнее. Хотя должно быть наоборот :)
У нас время уходит на вычисление значимости, так то он саму статистику быстро считает 
 
Evgeniy Chernish #:
У нас время уходит на вычисление значимости, так то он саму статистику быстро считает 
Точно, забыл про это.
 
Maxim Dmitrievsky #:
возьмите временной лаг побольше

Там интервалы (X1, X2, Y) не пересекаются.

 
Evgeniy Chernish #:
HSIC  нельзя использовать для нестационарных рядов. Нужно брать не цены, а приращения цен. Корреляция Пирсона  указывает на "зависимость" по той же причине.

Вычислительная сложность HSIC на много порядков (с проверками значимости) выше Пирсона, поэтому ожидал результат иной.

Если приращения независимы, а их суммы, вдруг, "зависимы", то это странный результат для столь ресурсоемкого критерия даже в теории.

 
fxsaber #:

Там интервалы (X1, X2, Y) не пересекаются.

Выборочная АКФ СБ затухает еще медленней или вообще не затухает. Грубо говоря, это бессмысленные подсчёты :)

 
Maxim Dmitrievsky #:

Выборочная АКФ СБ затухает еще медленней или вообще не затухает

Не понимаю применение этого аргумента к контексту обсуждения.

 

Утверждение.

Если после преобразования рядов (без потери информации - можно вернуться к начальному состоянию) получаем независимость, то исходные ряды независимы.

 
fxsaber #:

Не понимаю применение этого аргумента к контексту обсуждения.

Эти методы показывают не то, что ожидается, на нестационарных рядах. Поэтому можно взять за основу АКФ и объяснить на ее примере. Как изменяются корреляции в зависимости от шага t. На СБ автокорреляция зависит от времени. Это все написано, можно почитать в интернете.
Автокорреляция - это корреляция СБ с самим собой, с лагом. Она зависит от временного лага.
Это основы анализа временных рядов.
Почитать, как меняется в зависимости от лага простая и выборочная акф на СБ.

Отличие предложенного в статье метода только в том, что он работает с нелинейными корреляциями. 
 
fxsaber #:

Утверждение.

Если после преобразования рядов (без потери информации - можно вернуться к начальному состоянию) получаем независимость, то исходные ряды независимы.

Три независимых ряда.

if (SData == Nonlinear_dependence){
double x1 [];
MathRandomUniform(-5,5,data_,x1);
double x2 [];
MathRandomUniform(-5,5,data_,x2);
double y[];
MathRandomUniform(-5,5,data_,y);


получаем такой результат.

Коэффициент корреляции (X1, Y) = 0.0283
Коэффициент корреляции (X2, Y) = -0.0097
----------------Nonlinear_dependence-------------
Время выполнения: 13.469 seconds
-----------------------------------
Number observations 1000
HSIC: 0.00028932
p-value: 0.5100
Critical value: 0.0005
Не отвергаем H0: Наблюдения независимы


Теперь преобразуем их в суммы (потери информации нет).

double sum1 = 0, sum2 = 0, sum = 0;

for (int i=0;i<data_;i++){
x1[i] = (sum1 += x1[i]);
x2[i] = (sum2 += x2[i]);
y[i] = (sum += y[i]);
}


Результат "зависим".

Коэффициент корреляции (X1, Y) = 0.3930
Коэффициент корреляции (X2, Y) = 0.1924
----------------Nonlinear_dependence-------------
Время выполнения: 12.890 seconds
-----------------------------------
Number observations 1000
HSIC: 0.01020060
p-value: 0.0000
Critical value: 0.0009
Отвергаем H0: Наблюдения зависимы
 
fxsaber #:

Три независимых ряда.


получаем такой результат.


Теперь преобразуем их в суммы (потери информации нет).


Результат "зависим".

Потеря информации огромная. Убирается тренд, сезонность и циклы. Это 2 разных временных ряда. 
1234
Новый комментарий