Обсуждение статьи "Критерий однородности Смирнова как индикатор нестационарности временного ряда" - страница 4

 
Тест Смирнова по определению применяется к (а) независимым, (б) одинаково распределённым выборкам, которые однозначно определяются своими одномерными распределениями.

Попытка использования этого теста для определения нарушений пунктов (а) и (б) у выборок - так себе идея. Очевидно, нарушение у каждой выборки может быть своё и в сумме получается большое число возможных вариантов нарушений.
 
Aleksey Nikolayev #:

Имелась в виду фрактальность как таковая, а не конкретный её индикатор. Обычно она связывается с персистентностью/антиперсистентностью ряда, которые связаны с зависимостью соседних приращений, которая в свою очередь определяется их совместным распределением.

Если говорить про конкретные индикаторы фрактальности, то FDI не очень хорош, поскольку требует много данных для расчёта и не даёт значений для доверительного интервала размерности.

Мне кажется вы смешали две вещи. Алгоритм расчета конкретной статистики и то следствие которое мы можем сделать если она принимает те или иные значения. 
Вы наверно имели ввиду, что если индекс фрактальности отклоняет гипотезу СБ, то тогда функция вероятности двумерного вектора(Xn,Xn-1) не равна произведению одномерных векторов, я правильно понимаю ?

F(Xn,Xn-1) != F(Xn)*F(Xn-1)



 
Aleksey Nikolayev #:
Тест Смирнова по определению применяется к (а) независимым, (б) одинаково распределённым выборкам, которые однозначно определяются своими одномерными распределениями.

Попытка использования этого теста для определения нарушений пунктов (а) и (б) у выборок - так себе идея. Очевидно, нарушение у каждой выборки может быть своё и в сумме получается большое число возможных вариантов нарушений.
Независимость да. Но это не повод отказываться от критерия Смирнова. Смотрите как это может работать. Вы сравниваете две  однородные независимые выборки и все время наблюдаете нулевую гипотезу, после чего в какой то момент времени допустим в ряде появляются зависимости, критерий Смирнова на это отреагирует отклонением нулевой гипотезы, так как он "не любит" зависимости. Так что для трейдера этот побочный нежелательный эффект только в плюс. 

А что значит требование одинаковой распределенности выборок ?? 

Экономические временные ряды себе такой роскоши к сожалению позволить не могут. Это требование априори невыполнимо и никогда не будет выполнимо. Мы же не контролируем эксперимент или опыт как это могут себе позволить физики и добиться идеальных условий получения одинаково распределенных данных. 





 
Евгений Черныш #:
Мне кажется вы смешали две вещи. Алгоритм расчета конкретной статистики и то следствие которое мы можем сделать если она принимает те или иные значения. 
Вы наверно имели ввиду, что если индекс фрактальности отклоняет гипотезу СБ, то тогда функция вероятности двумерного вектора(Xn,Xn-1) не равна произведению одномерных векторов, я правильно понимаю ?

F(Xn,Xn-1) != F(Xn)*F(Xn-1)



Рассуждения о фрактальности, FDI и прочем таком выводит нас из области матстата. Какое распределение имеет FDI в случае СБ? Вот и я не знаю (и никто не знает, разве что наверно можно посчитать асимптотическое распределение). Поэтому термин "статистика" к FDI слабо применим. В немногочисленных нормальных исследованиях (когда методом Монте Карло высчитывали p-value для Хёрста на СБ) на реальных ценах нулевую СБ-гипотезу отвергнуть не удалось.

У нас в наличии лишь эмпирические догадки о связи между фрактальной размерностью и корреляций приращений. На этом уровне, да, вы правильно меня поняли - если говорится про фрактальность, то появляется зависимость {F(Xn,Xn-1) != F(Xn)*F(Xn-1)} и уже нельзя говорить про применимость теста Смирнова. Поэтому и считаю, что Смирнов и FDI не схожи. Максимум, на уровне эмпирики, можно считать Смирнова более применимым, когда FDI близок к своему теоретическому значению на СБ (хотя есть маленькое сомнение и в этом для трендовых активов).

 

Евгений Черныш #:

А что значит требование одинаковой распределенности выборок ?? 

Каждая из двух выборок должна быть получена из i.i.d. набора случайных величин. Уже писал, что из-за суточных колебаний волатильности (из-за сессионности рынка, например) условие i.d. нарушается.

 
Евгений Черныш #:
Независимость да. Но это не повод отказываться от критерия Смирнова. Смотрите как это может работать. Вы сравниваете две  однородные независимые выборки и все время наблюдаете нулевую гипотезу, после чего в какой то момент времени допустим в ряде появляются зависимости, критерий Смирнова на это отреагирует отклонением нулевой гипотезы, так как он "не любит" зависимости. Так что для трейдера этот побочный нежелательный эффект только в плюс. 

Вы не сможете отличить нарушение i. от нарушения i.d. из условия i.i.d.) Не сможете определить для какой из выборок они нарушены. Посчитайте сами - всего вариантов 16=4*4, из которых только один без нарушений условий.

Так-то Смирнов сделан именно для того, что бы "не любить" отклонения в i.d.) А вы хотите его запутать)

 
Aleksey Nikolayev #:

Рассуждения о фрактальности, FDI и прочем таком выводит нас из области матстата. Какое распределение имеет FDI в случае СБ? Вот и я не знаю (и никто не знает, разве что наверно можно посчитать асимптотическое распределение). Поэтому термин "статистика" к FDI слабо применим. В немногочисленных нормальных исследованиях (когда методом Монте Карло высчитывали p-value для Хёрста на СБ) на реальных ценах нулевую СБ-гипотезу отвергнуть не удалось.

У нас в наличии лишь эмпирические догадки о связи между фрактальной размерностью и корреляций приращений. На этом уровне, да, вы правильно меня поняли - если говорится про фрактальность, то появляется зависимость {F(Xn,Xn-1) != F(Xn)*F(Xn-1)} и уже нельзя говорить про применимость теста Смирнова. Поэтому и считаю, что Смирнов и FDI не схожи. Максимум, на уровне эмпирики, можно считать Смирнова более применимым, когда FDI близок к своему теоретическому значению на СБ (хотя есть маленькое сомнение и в этом для трендовых активов).

Вы слишком буквально понимаете требование независимости для критерия Смирнова. Это требование необходимо, что бы распределение данной статистики сходилось к распределению Колмогорова для проверки нулевой гипотезы. Поэтому если требование независимости нарушается, критерий Смирнова может выступать индикатором обнаружения статистических связей в данных. То есть требование независимости  ни в коем случае не запрещает применение критерия Смирнова к данным в которых могут присутствовать какие-то статистические связи. Далее, ведь никто не запрещает посчитать корреляцию исследуемых данных. Если линейной зависимости не обнаружено, ну считайте что требование независимости практически выполняется и тогда отличие в распределении расстояний Смирнова вызвано исключительно неоднородностью данных. Для нелинейных зависимостей распределение расстояний Смирнова отличается от распределения Колмогорова незначительно(по крайней мере для логистического отображения это так). То есть понятно, что одним критерием Смирнова не обойтись, нужно подключать дополнительные методы анализа.

Что касается FDI, то он, скорее всего, имеет точно такое же распределение для СБ, как и индекс Херста, то есть нормальное. С помощью метода Монте-Карло там все можно посчитать, Петерс как раз, так и сделал в своей работе "Фрактальный анализ финансовых рынков". FDI ничем не отличается от любой другой статистики в том смысле, что он сам является случайной величиной, как например выборочное среднее или выборочная дисперсия, поэтому, вы спокойно можете выяснить как эта статистика себя ведет на СБ, на малых выборках, на больших и т.д.

 
Aleksey Nikolayev #:

Каждая из двух выборок должна быть получена из i.i.d. набора случайных величин. Уже писал, что из-за суточных колебаний волатильности (из-за сессионности рынка, например) условие i.d. нарушается.

Требования одинаковой распределенности хороши для доказательства теорем, строгих доказательств и в пределах кафедры Математической статистики, а к реальным данным это требование слишком жесткое. Вы должны контролировать ход эксперимента, следить за тем, что бы условия при которых происходит наблюдение за случайной величиной не менялись во времени. Понятное дело, что в случае биржевых котировок мы ничего не контролируем. Мы просто наблюдаем как невидимая рука рынка достает из ящика некое число(приращение цены), но мы не знаем, происходи ли в каждый момент времени подмена содержимого этого ящика или нет (и никто никогда этого не узнает). Вот такая реальность и нужно работать с тем что есть.

На мой взгляд сравнивать сутки с сутками это корректно, ведь у нас в каждой выборке присутствует и азиатская и европейская и американская сессии. Вот если бы я сравнивал азиатскую сессию с американской это было бы конечно неправильно. Ну здесь уже конечно каждый сам решает.

 
Aleksey Nikolayev #:

Вы не сможете отличить нарушение i. от нарушения i.d. из условия i.i.d.) 

Смогу и вы сможете, как минимум для модельных данных.

Процесс Авторегрессии одинаково распределен ? Одинаково.

Он независим? Нет.

Критерий Смирнова это "видит"? Да.

 
Евгений Черныш #:

Вы слишком буквально понимаете требование независимости для критерия Смирнова. Это требование необходимо, что бы распределение данной статистики сходилось к распределению Колмогорова для проверки нулевой гипотезы. Поэтому если требование независимости нарушается, критерий Смирнова может выступать индикатором обнаружения статистических связей в данных. То есть требование независимости  ни в коем случае не запрещает применение критерия Смирнова к данным в которых могут присутствовать какие-то статистические связи.

Имхо, явная проблема с логикой. Тавтология, из которой ещё что-то и выводится.

Причина обращения: