Нулевая корреляция выборки вовсе не обозначает отсутствие линейной взаимосвязи - страница 8

 
hrenfx:

Везде, где читал, пишут, что нулевая корреляция выборки обозначает отсутствие линейной (обычно и слово линейная забывают) взаимосвязи на этой выборке.

Если только в упрощённом виде, то да, так и пишут. И это, в общем то, верно. А тонкости широкой публике ни к чему.

hrenfx:

Пример двух графиков с нулевым МО, дисперсией единица и нулевой корреляцией. Т.е. корреляция в данном случае - сумма произведений членов ВР, деленная на длину ВР.

Приведу свои графики. Это данные.


А вот и Пирсон, банально посчитанный а экселе. С одной оговоркой, расчёты выполнялись в скользящем окне.


Как видно, в самом грубом приближении, коэффициент меняется во времени. По моему, как мне кажется, именно вам я уже указывал на наличие проблем стационарности во временных рядах цен. И о необходимости быть осторожным, в использовании стат.методов, не предназначенных для нестационарных данных. (Хотя, здесь проблема несколько сложнее, чем нестационарность.)

hrenfx:

Да и вообще, линейная взаимосвязь любых двух случайных величин на конечной выборке всегда есть.

Будьте осторожны с интерпретацией корреляций, близких к нулю.

На самом деле, линейная взаимосвязь двух случайных величин есть именно на этих двух рядах. На других её может и не быть. Это раз. Два, у коэф. как и у любой порядочной оценки случайной величины есть область доверия. В общем, сентенции ваши - ниочём.


А вообще, - будьте осторожны, рассуждая о вещах, в которых разобрались не до конца.

 
HideYourRichess:

Как видно, в самом грубом приближении, коэффициент меняется во времени.

Это очевидно. Также, как и то, что динамика изменения коэффициента будет зависеть от размера скользящего окна.

По моему, как мне кажется, именно вам я уже указывал на наличие проблем стационарности во временных рядах цен. И о необходимости быть осторожным, в использовании стат.методов, не предназначенных для нестационарных данных.

Никакие стат. методы вообще не используются. Нестационарность тут не при чем.

На самом деле, линейная взаимосвязь двух случайных величин есть именно на этих двух рядах. На других её может и не быть. Это раз. Два, у коэф. как и у любой порядочной оценки случайной величины есть область доверия. В общем, сентенции ваши - ниочём.

Вы вообще как понимаете линейную взаимосвязь? Я уже написал, что в академическом смысле - это мера угла между векторами. И это плохое определение, если говорить о взамиосвязи.

Линейной взаимосвязи нет только в том случае, когда дисперсия одного из векторов равна нулю. Во всех остальных случаях взаимосвязь есть.

И еще раз уточню, речь идет об оценках на выборках, а не теоретических бесконечных ВР.

 
hrenfx:

Это очевидно. Также, как и то, что динамика изменения коэффициента будет зависеть от размера скользящего окна.

Из того, что вы тут написали и нарисовали, не увидел, что это так. Речь об очевидности. Ну и, понимание смысла стационарности оно не такое простое, как вы пытаетесь это представить, через размер окна.

hrenfx:

Никакие стат. методы вообще не используются. Нестационарность тут не при чем.

Вообще то, коэффициент корреляции относится к разделу мат.статистики под названием корреляционный анализ. И придуман он был математиками-статистиками. Так что, как только вы пытаетесь посчитать коэф.корреляции - автоматически вы используете стат.методы. И должны учитывать все ограничения этих методов.

hrenfx:

Вы вообще как понимаете линейную взаимосвязь? Я уже написал, что в академическом смысле - это мера угла между векторами. И это плохое определение, если говорить о взамиосвязи.

Линейной взаимосвязи нет только в том случае, когда дисперсия одного из векторов равна нулю. Во всех остальных случаях взаимосвязь есть.

И еще раз уточню, речь идет об оценках на выборках, а не теоретических бесконечных ВР.

Не совсем так. И выше пояснялось, почему не так. В статистике, при определённых условиях, коэф =0 и коэф =0.7 могут обозначать одно и то же - отсутствие или слабость связи.

 
HideYourRichess:

Из того, что вы тут написали и нарисовали, не увидел, что это так. Речь об очевидности. Ну и, понимание смысла стационарности оно не такое простое, как вы пытаетесь это представить, через размер окна.

Вы почему-то домысливаете до меня. Я не буду использовать термин, который не понимаю. И определение которого не знаю.

Вообще то, коэффициент корреляции относится к разделу мат.статистики под названием корреляционный анализ. И придуман он был математиками-статистиками. Так что, как только вы пытаетесь посчитать коэф.корреляции - автоматически вы используете стат.методы. И должны учитывать все ограничения этих методов.

Также знаком с корреляционным и регрессионным анализом. Не использую никаких стат. методов. Считаю коэффициент корреляции - как самое простое, что приходит в голову, когда надо оценить взаимосвязь. Это школьный уровень. И без знания о Пирсоне дошел до этого почти сразу, как задумался о взаимосвязях.

Не совсем так. И выше пояснялось, почему не так. В статистике, при определённых условиях, коэф =0 и коэф =0.7 могут обозначать одно и то же - отсутствие или слабость связи.

Не понял.
 
Это просто. Вы обвиняете коэффициент Пирсона в несостоятельности, а я говорю, что несостоятельны ваши методы его использования, а сам параметр хороший. Ну и, правильно тут было сказано, нужно не прочитать книжки по мат.статистике, а изучить её. Что бы грамотно использовать.
 
hrenfx:
Мой вывод таков: корреляция (коэффициент Пирсона) это хреновый показатель наличия линейной взаимосвязи на выборке. Мало того, что корреляция не показывает непосредственную взаимосвязь, так еще и врет.

Вы это называете критикой коэффициента Пирсона? Я критикую умников, которые его неправильно трактуют, говоря о наличии/отсутствии взаимосвязи, и даже не понимая, что это такое линейная взаимосвязь.

Говоря про несостоятельность моих методов, вы бы хоть один упомянули. В этой ветке методы использования Пирсона не обсуждались.

И еще, книжки по мат. статистике я не читал. Корреляционный и регрессионный анализ был изучен, когда весь этот простой, но написанный математиками сложнодоступным языком, инструментарий уже функционировал у меня в виде реализации на MQL4. И не надо быть семи пядей во лбу, чтобы самостоятельно дойти до 90% того, о чем пишут в книгах по корреляции и регрессии. Имеется в виду практическая часть, а не теоретические изыскания, занимающие большую часть книг.

 
hrenfx:

Вы это называете критикой коэффициента Пирсона? Я критикую умников, которые его неправильно трактуют, говоря о наличии/отсутствии взаимосвязи, и даже не понимая, что это такое линейная взаимосвязь.

Да. Более того, вы критикуют к.Пирсона голословно. Пишите яснее, что бы всем было однозначно понятно, что именно вы оспариваете.

hrenfx:

Говоря про несостоятельность моих методов, вы бы хоть один упомянули. В этой ветке методы использования Пирсона не обсуждались.

Коэффициент парной линейной корреляции - это и есть, то о чём была речь.

А что касаемо методов, у вас в топикстарте приведены удивительные результаты. И тыча в них пальцем вы делаете удивительные выводы. Как это можно расценивать, кроме как несостоятельность ваших методов - понимать отказываюсь.

hrenfx:

И еще, книжки по мат. статистике я не читал.

Передавайте привет Митрофанушке.

hrenfx:

Корреляционный и регрессионный анализ был изучен, когда весь этот простой, но написанный математиками сложнодоступным языком, инструментарий уже функционировал у меня в виде реализации на MQL4. И не надо быть семи пядей во лбу, чтобы самостоятельно дойти до 90% того, о чем пишут в книгах по корреляции и регрессии. Имеется в виду практическая часть, а не теоретические изыскания, занимающие большую часть книг.

То что вы тут продемонстрировали - ясно показывает, что ничего вы толком не изучили. Формулы в разделе корреляции Пирсона действительно не сложные, но то что вы умеете складывать цифры по формулам, это совсем не значит, что вы умеете использовать данный мат.аппарат правильно. А ваши рассуждения показывают, что не всё в порядке с пониманием.

 
hrenfx:

Вы это называете критикой коэффициента Пирсона? Я критикую умников, которые его неправильно трактуют, говоря о наличии/отсутствии взаимосвязи, и даже не понимая, что это такое линейная взаимосвязь.

...


Не уже ли Вы искренне считаете, что никто из  присутствующих здесь на форуме лет этак 5-8, ни разу не догадался построить КК, что никто не слышал про Пирсона и даже если слышал, не умеет его программировать(расчитывать) и т.д.

Ну послушайте (почитайте), тут в этой ветке уже многие отметились. И говорят вам про одно и тоже, разными словами, но пытаются, что то объяснить. Да я последнее время тоже часто спорил с HideYourRichess, но смею вас уверить он очень грамотный и специалист в своем деле. Как практически все кто  тут отметились в ветке. Да мы можем не сходиться во взглядах, но уважительная беседа помогает получить знания, иногда если оппоненты внимательны друг к другу, в споре рождается истина…

Мне кажется вы что то хотите исследовать (построить), но объяснить это никак не можете. Многие вас не понимают, вы используете обще известные термины для пояснения, но используете их как то не так. Попробуйте пояснить с помощью формул. Просто напишите её в понятном виде. И объясните, что и как вы хотите рассчитать или рассчитывали.

Не гневите Бога (хоть я в него и не верю) но огульно всех скопом обвинять в том что они неправильно используют Пирсона, его рассчитывают, не понимают, как то слишком самонадеянно…

 

hrenfx, я понять не могу, вы книжек перечитали?

Какое к черту логарифмирование, какие ведра и килограммы????? Какая еще "трактовка" коэффициента корреляции кроме общеизвестной и существующей уже сто лет? Мой вам совет - сначала выспитесь, а потом начинайте учить матчасть с нуля. Привалов написал скрипт, результаты сходятся с маткадовскими. Я писал скрипт, не заглядывая к другим, сравнивал результаты - они совпадают с пиваловскими и маткадовскими. Сто пятьдесят человек уже сто пятьдесят раз написали этот КК - и у всех результаты одинаковые. Так с какого же вдруг все бросятся переписывать свои программы, узнав внезапно, что у кого-то есть своя собственная интерпретация КК Пирсона???

 
hrenfx:

......... 

Если выборка кажется маленькой, то возьмем из таблицы корреляций что-нибудь побольше:

Corr = 0.0000, #NGX0 - EURGBP, bars = 24943 (2010.05.28 21:25 - 2010.09.28 18:40), November 2010 Natural Gas Future - Euro vs British Pound

Corr = -0.0015, USDNOK - USDSGD, bars = 54961 (2010.01.01 00:00 - 2010.09.28 17:20), US Dollar vs Norwegian Krone - US Dollar vs Singapore Dollar

Ну надо же, между норвежской кроной и сигнапурским долларом почти нет никакой линейной взаимосвязи - бред!
Corr = -0.0008, GOLD - USDCAD, bars = 54898 (2010.01.01 00:00 - 2010.09.28 16:45), SPOT Gold Once vs US Dollar - US Dollar vs Canadian
Еще смешнее, между золотом и канадским долларом почти нет никакой линейной взаимосвязи - хрен!

.........

Не трогая математических аспектов поднятой проблемы, хочу поинтересоваться у топикстартера: а почему, на Ваш взгляд, должна быть выраженная взаимосвязь между представленными тремя парами активов? Для примера: почему изменение стоимости Канадского доллара обязательно должно влиять на изменение стоимости золота? И в какую сторону?
Причина обращения: