Предсказание рынка на основе макроэкономических показателей - страница 2

 
Интересный объект для исследования. Размышляя на эту тему я пришел к выводу о потребности анализировать макроэкономические данные в динамике - на мой взгляд мало сказать, что заявки на пособие по безработице выросли, так как это может быть связано с сезонными колебаниями и носит кратковременный характер - рынок может отреагировать или нет и опять же в зависимости от тренда, который превалирует на рынке. Поэтому, быть может попробовать исследовать силу показателей в разрезе их способности развернуть тренд? Допустим взять зигзаг или самому на графике определить точки разворота тренда и просто коррекции и поискать в пределах трех дней до перелома выход макроэкономических показателей, и уже собрав группу таких показателей анализировать, что же показывали эти показатели, а уже потом искать закономерности. Не каждый раз показатель будет являться причиной разворота рынка - важен потенциал, тренд рынка и показателя за прошлые периоды, а так же совокупность других экономических показателей.
 
-Aleks-:
Интересный объект для исследования. Размышляя на эту тему я пришел к выводу о потребности анализировать макроэкономические данные в динамике - на мой взгляд мало сказать, что заявки на пособие по безработице выросли, так как это может быть связано с сезонными колебаниями и носит кратковременный характер - рынок может отреагировать или нет и опять же в зависимости от тренда, который превалирует на рынке. Поэтому, быть может попробовать исследовать силу показателей в разрезе их способности развернуть тренд? Допустим взять зигзаг или самому на графике определить точки разворота тренда и просто коррекции и поискать в пределах трех дней до перелома выход макроэкономических показателей, и уже собрав группу таких показателей анализировать, что же показывали эти показатели, а уже потом искать закономерности. Не каждый раз показатель будет являться причиной разворота рынка - важен потенциал, тренд рынка и показателя за прошлые периоды, а так же совокупность других экономических показателей.

Довольно интересная идея. То есть концентрируемся только на переломах в трендах и определяем ключевые индикаторы влияющие на эти переломы.

Я долго думал о выбросах (outliers). Нужно ли их игнорировать или, наоборот, уделять им большее внимание. Классическая теория регрессии учит игнорировать их. Но мне иногда кажется что маленькие колебания цены около тренда это шум, а классическая регрессия уделяет ему наибольшее значение. Крутые повороты в трендах (outliers) наверно являются более важным сигналом. Но все мои попытки построить модель уделяющую большее значение выбросам (например путём выбора u>1) вели к более высокой средне-квадратичной ошибке предсказания. Сглаживание выбросов вело к меньшей ошибке предсказания.

 
faa1947:

Отсюда, приходится вручную рассматривать весь перечень входных переменных и решать интуитивное, или на основе каких-либо других соображений, что "эта входная переменная скорее всего влияет, а эта скорее всего не влияет."

...Ручками отобрал некоторый перечень, а потом отфильтровал алгоритмом и получил перечень. Причем ценность такого перечня носит принципиальный характер: модели, использующие такой набор "влияющих" исходных данных  (использую 3 разных типов моделей), НЕ обладают свойством переобученности, которая и является главной засадой. Именно переобученность является главным следствием использования "шумовых" исходных данных.


А отбирали на in-sample участке истории и проверяли на out-of-sample участке? Если отбирали предсказатели на всём участке а потом расчитывали out-of-sample ошибку на части того же участка, то это заглядывание в будущее.
 
gpwr:
А отбирали на in-sample участке истории и проверяли на out-of-sample участке? Если отбирали предсказатели на всём участке а потом расчитывали out-of-sample ошибку на части того же участка, то это заглядывание в будущее.

Даже жестче.

С большим интересом слежу за веткой.

Учитывая  пост -Aleks-  не ясно, что Вы собираетесь предсказывать: направление или величину? Если "направление", то это классификационные модели, а если "величину", то это регрессионные модели, а у них проблемы с разными там ARIMA  и ARCH. Детрендирование с помощью дифференцирования проблему полностью не решает, ко всему в макроэкономике путается сезонность.... 

Сама идея  -Aleks- по отбору предикторов очень любопытна. Вообще бы на первом этапе я бы сделал сделал два предварительных шага:

1. Отобрал по -Aleks- некоторый достаточно большой набор независимых переменных.

2.   Построил регрессию   и выбросил все переменные, которые имеют незначащие коэффициенты. 

Последний шаг в действительно не простой. Все так как я написал при условии, если нет корреляции между независимыми переменные. А корреляция свыше 0.7 всегда имеется и перечень отброшенных предикторов зависит от порядка, в котором это делается.

После этого можно посмотреть и решить что делать дальше. 

 
avtomat:

Требование стационарности -- очень жёсткое и совершенно неоправданное.

.

А "без стационарности" модели вполне себе работают ;)

gpwr:
Так можно сказать о любой моделе, не только регрессии но и нейроных моделях, ARMA и прочих. Если связи между входами и выходом нет, любая модель сгенерирует предсказание, только неточное.
Посоветуйте с чего начать, чтобы понять, что такое стационарность, ARMA, нейронные модели. Давно хочу изучить это направление. Много источников и вот так с нуля сложно в этом всем разобраться.
 
faa1947:

 Большое или малое количество входных данных - это все относительно.

В моем представлении необходимо по одиночке проверить данные, выявить значимые и потом использовать в советнике. Только, если начать оптимизировать значения данных возможны случайные попадания. Поэтому, наверное к диапазону перебора в оптимизации, нужно подходить особо осторожно.
 
gpwr:

Довольно интересная идея. То есть концентрируемся только на переломах в трендах и определяем ключевые индикаторы влияющие на эти переломы.

Я долго думал о выбросах (outliers). Нужно ли их игнорировать или, наоборот, уделять им большее внимание. Классическая теория регрессии учит игнорировать их. Но мне иногда кажется что маленькие колебания цены около тренда это шум, а классическая регрессия уделяет ему наибольшее значение. Крутые повороты в трендах (outliers) наверно являются более важным сигналом. Но все мои попытки построить модель уделяющую большее значение выбросам (например путём выбора u>1) вели к более высокой средне-квадратичной ошибке предсказания. Сглаживание выбросов вело к меньшей ошибке предсказания.

Развивая мысль, нужно разделить разные показатели на периодичность их выхода - вероятно чем реже выходит показатель, тем дольше он оказывает влияние на рынок - это нужно проверить. Лично мне легче воспринимать информацию визуально представленную и в динамике изменения во времени - требуется перенести показатели для удобства в МТ в виде графика (моя мечта), но эти показатели должны быть синхронизированы - допустим выходит новость раз в месяц, то как быть с нижними тайм фреймами? Как вариант - заполнить их по линейной функции барами от показателя до показателя - таким образом будет наглядно виден вектор движения в МТ. Зная вектор, можно делать анализ по вектору движения и его изменению - времени перелома относительно перелома вектора цены инструмента по зиг-загу.
Таким образом можно учесть лаг - и вычислить процент отклонения от перелома цены при выходе экономического показателя. Тут ещё есть идеи, но очевидность их использования можно понять уже на месте.
Вообще многие экономически данные имеют относительный показатель с прошлым месяцем или прошлым годом, при графическом построении необходимо это будет так же учесть...
Ещё идея - вероятно, больше на смену тренда влияют не сами данные, а их отклонение от ожидаемых данных или от прошлой динамики - тут так же можно проверить - сравнив прошлую динамику движения показателя с его изменением (сильное изменение по вектору или против - хоть с помощью SMA) и посмотреть на изменение вектора движения цены с лагом.
Не уверен, что эта вся работа под силу одному человеку - требуется четкий план действий и методика анализа промежуточных результатов - их обсуждение - может оказаться, что это труд всей жизни, который даст ответ на то, как влияли прошлые экономические показатели на рынок... Однако, выработанная методика позволит отыскивать закономерности в текущих движениях рынка.
 
-Aleks-:
Развивая мысль, нужно разделить разные показатели на периодичность их выхода - вероятно чем реже выходит показатель, тем дольше он оказывает влияние на рынок

Нет. Наиболее влиятельные для США - UR и FOMC Meeting percent rate. Они ежемесячно.

Если данные по безработице формализованы, то протоколы заседаний ФРС в численном виде формализовать вообще невозможно.

А иначе это было бы как два пальца... 

 

Для такого количества переменных 65 наблюдений - очень мало.

Хотя бы i*10 наблюдений + 15-20% на форвард-тест.

 
Demi:

Нет. Наиболее влиятельные для США - UR и FOMC Meeting percent rate. Они ежемесячно.

Если данные по безработице формализованы, то протоколы заседаний ФРС в численном виде формализовать вообще невозможно.

А иначе это было бы как два пальца... 

В этих протоколах экономические данные, я так понимаю, их можно получить. Если же нет, то нужно оценить эти заседания в трех вариантах - +1/-1/0 - информацию для оценки можно взять из СМИ, как вариант.
Причина обращения: