Обсуждение статьи "Эконометрический подход к анализу графиков" - страница 7

 
faa1947:

Браво! Отличный пост, затрагивает многие вопросы. Но, некоторые пункты можно критиковать. Например, один из них - на основании чего вы решили, что нужно удалять выбросы? Их удалять нельзя.
 
-Alexey-:
Браво! Отличный пост, затрагивает многие вопросы. Но, некоторые пункты можно критиковать. Например, один из них - на основании чего вы решили, что нужно удалять выбросы? Их удалять нельзя.
Выброс выбросу рознь. Приходится просматривать котировки. Если выброс - это относительно редкое явление, то следует обрезать до порога (не удалять). Если это не так, то не понятно что делать. В принципе, выбросы сильно искажают статистику. Любой пакет статистики предусматривает такую возможность и дает соответствующие рекомендации.
 
faa1947:
Выброс выбросу рознь. Приходится просматривать котировки. Если выброс - это относительно редкое явление, то следует обрезать до порога (не удалять). Если это не так, то не понятно что делать. В принципе, выбросы сильно искажают статистику. Любой пакет статистики предусматривает такую возможность и дает соответствующие рекомендации.

Насколько мне известно, выбросы удаляются при проведении измерений, когда заранее известно, что результаты объединяет хоть какой-то закон, т.е. иными словами, когда процесс, генерирующий измеряемое значение - неслучайный, или случайный стационарный, и выброс может быть вызван случайностью(превышающей пределы неслучайности или стационарности), и такая случайность в этом случае - искажение. Если иметь дело с рядом цены, нестационарным, то случайность любого уровня - это часть статистики(помимо неслучайной части, но отделить их затруднительно), и удаление части статистики, соответственно - искажение статистики. Мне ближе мысль, что при работе со случайным нестационарным процессом мы не имеем права что-то удалять (обрезать). Вы, кстати, не ответили, какова по вашему мнению конечная цель, например, обрезания. Пакеты статистики, вероятно, направлены на работу со стационарными рядами, и рекомендации по обрезке аномальных значений в этом случае справедливы.

Если это не так, то не понятно что делать.

Что вы этим хотите сказать?
 
-Alexey-:

Насколько мне известно, выбросы удаляются при проведении измерений, когда заранее известно, что результаты объединяет хоть какой-то закон, т.е. иными словами, когда процесс, генерирующий измеряемое значение - неслучайный, или случайный стационарный, и выброс может быть вызван случайностью(превышающей пределы неслучайности или стационарности), и такая случайность в этом случае - искажение. Если иметь дело с рядом цены, нестационарным, то случайность любого уровня - это часть статистики(помимо неслучайной части, но отделить их затруднительно), и удаление части статистики, соответственно - искажение статистики. Мне ближе мысль, что при работе со случайным нестационарным процессом мы не имеем права что-то удалять (обрезать). Вы, кстати, не ответили, какова по вашему мнению конечная цель, например, обрезания. Пакеты статистики, вероятно, направлены на работу со стационарными рядами, и рекомендации по обрезке аномальных значений в этом случае справедливы.

Что вы этим хотите сказать?

Даже модель ARIMA работает с нестационарными рядами путем приведения их к стационарному виду.

Мне кажется, что проблема обрезания котировок имеет два слоя: поверхностный и глубокий.

На поверхности лежат проблемы, к примеру, сбивания стопов, которые не имеют никакого отношения к нестационарности рынка.

Более глубокая проблема  применении мат.статистики и эконометрики состоит в том, что как исходные данные, промежуточные результаты и выводы приходится проверять внематематическими - интуитивными методами. Выбор порога отсечения (2, 3 , 4 сигма или другого) возможен только после визуального просмотра графика и относится к проблеме выбора доверительных интервалов. Самой большой проблемой применения матстатистики - это то, что применение ее не мыслимо без искусства самого статистика. Никто не сформулирует правило "обрезать - не обрезать". Обрезал -  убрал характеристику нестационарности, не обрезал - исказил истинное распределение генеральной совокупности по неудачной выборке.

Серцевиной эконометрики является проверка гипотез, где можно допустить ошибки первого и второго рода: отвергнуть верную нулевую гипотезу в пользу неверной альтернативной, и отвергнуть верную альтернативную гипотезу в пользу неверной нулевой.

Учитывая изложенное, я могу согласиться с Вами и не согласиться одновременно. Заранее, без рассмотрения конкретной выборки, нельзя однозначно ответить на Ваш вопрос.

 

Даже модель ARIMA работает с нестационарными рядами путем приведения их к стационарному виду.

И даже после этого порядки модели могут меняться во времени. Вывод - была осуществлена подгонка нестационарного ряда данных под модель(метод), предназначенный для работы со стационарным рядом, на каком-то участке. Раз так - надо как-то исследовать, как часто делать погонку, как долго она работает. Без этого - как пользоваться не соответствующей моделью?

не обрезал - исказил истинное распределение генеральной совокупности по неудачной выборке

Вт здесь, мне кажется, неверное рассуждение. У нестационарного ряда нет никакой генеральной совокупности, иначе - это уже стационарный ряд. А раз так, то нет и никакого истинного распределения.

Про сбивание стопа - как узнать, это оно было или нет? Конечно, если анализировать данные нескольких ДЦ, около сильных уровней, да еще круглых, и видеть, что некоторые из них снесли стоп(для чего еще критерий ввести нужно), то тут я с вами соглашусь, появляются некие квази-объективные основания для обрезки. Но - установить это - это целая работа, большое исследование.

Более глубокая проблема  применении мат.статистики и эконометрики состоит в том, что как исходные данные, промежуточные результаты и выводы приходится проверять внематематическими - интуитивными методами. Выбор порога отсечения (2, 3 , 4 сигма или другого) возможен только после визуального просмотра графика и относится к проблеме выбора доверительных интервалов. Самой большой проблемой применения матстатистики - это то, что применение ее не мыслимо без искусства самого статистика.

Я бы это не так назвал. Искусство, а может просто степень подготовки статистика опредеделяется тем, как он умеет оценить пределы применимости методов, ориентированных на работу со стационарным рядом, применительно к нестационарному ряду. Но не интуитивно оценить, а все-таки количественно(численно).
 
-Alexey-:

И даже после этого порядки модели могут меняться во времени. Вывод - была осуществлена подгонка нестационарного ряда данных под модель(метод), предназначенный для работы со стационарным рядом, на каком-то участке. 

Стандартное рассуждение в ТА: нестационарный ряд - это сумма стационарных участков с разными характеристиками. Если взять тулбокс Матлаба, то этот вопрос вообще не рассматривается: считается, что ВР имеет несколько отличий от нормально распределенного и в дальнейшем борются с этими отклонениями. Побороли не все. 

Раз так - надо как-то исследовать, как часто делать погонку, как долго она работает. Без этого - как пользоваться не соответствующей моделью?

Нет этой проблемы. Различают два вида прогноза: на один шаг вперед (на следующую свечку) и на много шагов вперед. 

Вт здесь, мне кажется, неверное рассуждение. У нестационарного ряда нет никакой генеральной совокупности, иначе - это уже стационарный ряд. А раз так, то нет и никакого истинного распределения.

Не согласен в принципе. Стационарность - это характеристика ряда, а не размера совокупности. 

Про сбивание стопа - как узнать, это оно было или нет? Конечно, если анализировать данные нескольких ДЦ, около сильных уровней, да еще круглых, и видеть, что некоторые из них снесли стоп(для чего еще критерий ввести нужно), то тут я с вами соглашусь, появляются некие квази-объективные основания для обрезки. Но - установить это - это целая работа, большое исследование.

Сбивание стопа - просто пример. При обзоре котировок необходимо решить, что будем принимать за котировки, а что выпадает в силу неизвестных для нас причин. 

Я бы это не так назвал. Искусство, а может просто степень подготовки статистика опредеделяется тем, как он умеет оценить пределы применимости методов, ориентированных на работу со стационарным рядом, применительно к нестационарному ряду. Но не интуитивно оценить, а все-таки количественно(численно).

Не согласен. Привести к стационарному ряду полностью не удается. именно отсюда ошибки в определении гипотез. 



 
faa1947:

Стандартное рассуждение в ТА: нестационарный ряд - это сумма стационарных участков с разными характеристиками.

А основание для этого рассуждения есть? Ведь ряд, полученный упомянутой суммой, можно получить и без нее - случайно, а можно и другой суммой других участков с другими законами. А раз так - то как быть (что истинно)?

Если взять тулбокс Матлаба, то этот вопрос вообще не рассматривается: считается, что ВР имеет несколько отличий от нормально распределенного и в дальнейшем борются с этими отклонениями.

На основании чего так считается?

Нет этой проблемы. Различают два вида прогноза: на один шаг вперед (на следующую свечку) и на много шагов вперед.

Как это связано с тем, что на следующих шагах более оптимальной может быть модель с другими параметрами?

Не согласен в принципе. Стационарность - это характеристика ряда, а не размера совокупности.

Про это непонятно - можете описать подробнее, что вы имеете в виду? Истинное распределение характеризует свойства ряда, но нестационарный - по определеню такой, у которого они меняются. Следовательно - никакого истинного, принадлежащего генеральной совокупности нет. Истинное есть у Н.Р. только одно, и в данный момент времени, и по конечному числу свечек.

Сбивание стопа - просто пример. При обзоре котировок необходимо решить, что будем принимать за котировки, а что выпадает в силу неизвестных для нас причин.

А на каком основании можно что-то решить, если причины неизвестны?

Не согласен. Привести к стационарному ряду полностью не удается. именно отсюда ошибки в определении гипотез.

Теперь я не согласен в принципе. С самой формулировкой. Как можно привести к стационарному ряд, характеристики которого меняются случайно? Т.е. такой подход ничем не обоснован, о каких гипотезах можно говорить?
 
-Alexey-:

А основание для этого рассуждения есть? Ведь ряд, полученный упомянутой суммой, можно получить и без нее - случайно, а можно и другой суммой других участков с другими законами. А раз так - то как быть (что истинно)?

В своем посте я утверждал, что оснований для этого нет. в ТА просто другого выхода нет.

На основании чего так считается?

Это не я считаю - на этом построена вся матстатистика. 

Как это связано с тем, что на следующих шагах более оптимальной может быть модель с другими параметрами?

Нет понятия "оптимально". Либо  имеется подгонка с некоторым уровнем доверия, либо ее нет. Есть подгонка - есть прогноз 

Про это непонятно - можете описать подробнее, что вы имеете в виду?

В определении стационарности не участвует количество СВ в ВР. 

А на каком основании можно что-то решить, если причины неизвестны?

Это стандарт для случайных процессов. Если причины известны, то скорее всего детерминированный процесс. 

Теперь я не согласен в принципе. С самой формулировкой. Как можно привести к стационарному ряд, характеристики которого меняются случайно? Т.е. такой подход ничем не обоснован, о каких гипотезах можно говорить?

GARCH - это модель с изменяющейся волантильностью, к примеру.

У нас обсуждение на двоих и приняло слишком отвлеченный характер. Даже топикстартер не участвует. Хотелось бы некоторую последовательность обсуждения и развития обсуждаемой статьи. Например, на первом этапе на конкретном примере рассмотреть в деталях предварительный анализ данных и подготовка их к моделированию. Например:

1. Обоснование объема выборки.

2. Обоснование необходимости трансформации данных.

3. Выбор способа трансформации данных:

- работа с выбросами и пропущенными данными.

-  трансформация данных - удаление трендов, цикличности

4. Определение типов тренда и их учет

5. Подгонка распределения к трансформированным данным.

6. Анализ на стационарность трансформированных данных.  

7. Учет гетероскедастичности 

Пока хватит. Вполне допускаю другой план. Хотелось бы организовать некое систематическое изложение проблемы подготовки котира к моделированию, описанному в обсуждаемой статье.

 

Топикстартер [ёлки, так ещё не называли] в небольшом творческом кризисе :-))

Но он следит за дискуссией...

Он благодарен faa1947 за внесение конструктивных замечаний...

-Alexey-, Вам порекомендовал бы матчасть изучить...

Все замечания рассмотрю, попозже изложу свои контраргументы и аргументы...


 
denkir:


-Alexey-, Вам порекомендовал бы матчасть изучить...

Какие разделы можете порекомендовать? К каждому своему высказыванию (в том числе и вопросительному) я могу предоставить ссылку на матчасть.

P.S. А с каким моментом связан творческий кризис, если не секрет? :)

Причина обращения: