Предсказание рынка на основе макроэкономических показателей - страница 50

 
Дмитрий:

Так сложно на глаз с таким масштабом определить.

Я когда то крутил многофакторную модель, но точность модели была ниже, чем общедоступные прогнозы 

Возьмите только один индикатор как HOUST1F или PRFI и уже ваша модель будет точнее чем общедоступные прогнозы. Добавьте пару потребительских показателей и yield curve и вас будет супер модель.

Внизу график роста ВВП и S&P500 с 1959 года. Отрицать падение S&P500  во время отрицательного роста ВВП (рецессий) нельзя:

 

 

"Супер моделей" у меня много и у самого. Только форвард-тест почему то показывает точность прогноза хуже, чем публикуемые прогнозы

 
Vladimir:

Возьмите только один индикатор как HOUST1F или PRFI и уже ваша модель будет точнее чем общедоступные прогнозы. Добавьте пару потребительских показателей и yield curve и вас будет супер модель.

Внизу график роста ВВП и S&P500 с 1959 года. Отрицать падение S&P500  во время отрицательного роста ВВП (рецессий) нельзя:

 


Вы как-то выборочно реагируете на мои посты. 

 

Естественно, приведенный график - это как в трамвае. Едет трамвай - и все пассажиру едут, остановился.... А связь между пассажирами одна - находятся в одном трамвае - в нашем случае в одной экономике

 Индекс и ВВП являются производными от экономической ситуации в стране и связь между отсутствует.

  

Кризис 2008 года - это кризис недвижимости и из этого кризиса вытекают цифры ВВП и индекса и много еще каких цифр вытекает полно пассажиров в трамвае. А из ВВП не вытекает индекс, а из индекса не вытекает ВВП - они в лучшем случае  синхронно (и то не всегда - это видно по приведенному ранее Вами графику)  отражают общую картину.

Есть процессы в экономике, которые определяют ее будущее движение, а куча показателей будет отражать это движение.   

Что сегодня являются глубинными движениями в американской экономике?

Лично я примыкаю к тем людям, которые считают, что основной проблемой экономики США  является нулевая ставка. Вся социалка (страховые и пенсионные фонды) получали прибыли от вложений в госбумаги. При нулевой ставке нужных им прибылей эти организации не получают. Если начнут банкротится этот тип организаций, то это будет другой уровень проблем, это не доткомы. Кстати ВВП и все индексы совершенно синхронно пойдут в одну сторону - вниз, вертикально

 
СанСаныч Фоменко:

 Индекс и ВВП являются производными от экономической ситуации в стране и связь между отсутствует.

Кризис 2008 года - это кризис недвижимости и из этого кризиса вытекают цифры ВВП и индекса и много еще каких цифр вытекает полно пассажиров в трамвае. А из ВВП не вытекает индекс, а из индекса не вытекает ВВП - они в лучшем случае  синхронно (и то не всегда - это видно по приведенному ранее Вами графику)  отражают общую картину.

Есть процессы в экономике, которые определяют ее будущее движение, а куча показателей будет отражать это движение.   

Что сегодня являются глубинными движениями в американской экономике?

Лично я примыкаю к тем людям, которые считают, что основной проблемой экономики США  является нулевая ставка. Вся социалка (страховые и пенсионные фонды) получали прибыли от вложений в госбумаги. При нулевой ставке нужных им прибылей эти организации не получают. Если начнут банкротится этот тип организаций, то это будет другой уровень проблем, это не доткомы. Кстати ВВП и все индексы совершенно синхронно пойдут в одну сторону - вниз, вертикально

Согласен со всем сказанным. Я пытался найти где я сказал что маркет индекс падает из-за падения в ВВП так и не нашёл. Оба падения отражают состояние экономики как вы правильно сказали. Падение маркет индекса трудно предсказать, падение ВВП предсказать намного легче. Так как падения в индексе и ВВП происходят синхронно (сами написали, хотя по моим наблюдениям индекс начинает падать на 1 квартал раньше ВВП), то предсказать падение в индексе можно путём предсказания падения в ВВП, чем я и занимаюсь здесь. Housing starts начинают падать намного раньше маркета и ВВП. Поэтому в крайнем случае, если хорошую модель S&P500 и GDP мне создать не удасться, то буду просто наблюдать HOUST и цены на дома и выходить из рынка при их упаде. Пока такого не наблюдается. Когда HOUST достигнет 1.6-1.7М, буду следить осторожно. При упадке HOUST ниже 1.2-1.3М, закономерно начинались прошлые рецессии.

https://research.stlouisfed.org/fred2/series/HOUST 

Насчёт того в чём проблема экономики сегодня, по моему частный долг продолжает иметь большую проблему. Банки по прежнему дают взаём тем кто отплатить долг не может. В США банки одурели и дают скидки на покупки при открытии кредитных карточек. Каждый брандный магазин имеет свою кредитную карточку: Walmart, Target, Macy's, Starbuks, и сотни других. В Китае частный долг к ВВП достиг ещё более высокого уровня чем в США перед началом рецессии. Наверно всё таки Китай будет причиной следующей рецессии. 

 
Vladimir:

Насчёт того в чём проблема экономики сегодня, по моему частный долг продолжает иметь большую проблему. Банки по прежнему дают взаём тем кто отплатить долг не может. В США банки одурели и дают скидки на покупки при открытии кредитных карточек. Каждый брандный магазин имеет свою кредитную карточку: Walmart, Target, Macy's, Starbuks, и сотни других. В Китае частный долг к ВВП достиг ещё более высокого уровня чем в США перед началом рецессии. Наверно всё таки Китай будет причиной следующей рецессии. 

Насчёт ВВП Китая говорится во вчерашнем ролике ветки "Интересное и юмор". Согласно "Общей теории всего" прирост ВВП Китая в степени 2/3 пропорционален времени (t-t0).


 

Начнём по шагам перебирать предикторы. Сначала преобразуем все данные как описал выше, нормализацией абсолютных приращений их средней. Затем пробежим по всей истории и посмотрим ошибки предсказаний преобразованного ВВП используя линейную регрессию. Вот список первых 10-и предикторов сортированных по возрастяющей ошибке предсказания:

'Series' 'Delay' 'Error' 'Corr Coeff' 'Mutual info' 'Description'
'A012RC1Q027SBEA' 1 0.785084491 0.521239874 0.207278508 'Private fixed investment: Residential: Structures'
'PRFI' 1 0.785370338 0.52030199 0.205244075 'Private Residential Fixed Investment'
'A756RC1Q027SBEA' 1 0.788998988 0.513150108 0.203337794 'Private fixed investment in new structures: Residential structures'
'DFDHRA3Q086SBEA' 1 0.792817832 0.509246158 0.238935402 'Real personal consumption expenditures: Durable goods: Furnishings and durable household equipment (chain-type quantity index)'
'W988RC1Q027SBEA' 1 0.792819625 0.512427741 0.209527444 'Gross private domestic investment: Households and institutions'
'A713RX1Q020SBEA' 1 0.79292839 0.511152419 0.227008161 'Real final sales to domestic purchasers'
'B713RA3Q086SBEA' 1 0.792933677 0.511052828 0.227015597 'Real final sales to domestic purchasers (chain-type quantity index)'
'W791RC1Q027SBEA' 1 0.795610445 0.509720881 0.220612324 'Net domestic investment: Private: Households and institutions'
'A943RC1Q027SBEA' 1 0.799721554 0.493581939 0.198662644 'Private fixed investment: Residential: Structures: Permanent site'
'A011RE1Q156NBEA' 1 0.802124995 0.476308607 0.198071775 'Shares of gross domestic product: Gross private domestic investment: Fixed investment: Residential'

 

Как видим, моного предикторов из темы инвестиций, особенно в недвижимость и бытовое оборудование. Предикторы с наименьшей ошибкой предсказания имеют также максимальные кояффициенты корреляции с ВВП, а также высокою взаимную информацию. Либо A012RC1Q027SBEA либо PRFI пригодны как первый предиктор модели. Для примера, посмотрим как выглядет график зависимости преобразованног ВВП от PRFI(1):

 

Цвет точек плавно изменяется по спектру согласно времени, т.е. например синии точки принадлежат одному и тому же отрезку времени. Как видно из графика, особого изменения зависимости ВВП от PRFI не наблюдается во времени. Линейная зависимость не хуже нелинейных в данном случае, и предпочтительна в силу её простоты. Тут кстати можно устроить дискуссию дают ли нелинейные нейронные сети какие-то преимущества в финансовых моделях когда входные данные так сильно зашумлены.

Теперь посмотрим на прошлые и будущее предсказания ВВП на основе PRFI(1):

 

Довольно не плохо, и всего одним предиктором, лучше чем банковские предсказания. Заглядывания в будущего в этих предсказниях нет, так как на каждом прошлом моменте истории использовались GDP и PRFI данные доступные до этого момента. Единственное заглядывание в будущее существует в выборе самого предиктора (PRFI был выбран на всей истории).

 

Двигаемся дальше. Выбор второго предиктора не так прост. Я использую разновидность stepwise regression. Идея состоит в том что после нахождения первого предиктора и модели ВВП на его основе, я отнимаю от ВВП её модель. Получаемый остаток становится новым моделируемым рядом для которого находим второй предиктор и так далее. Те кто знаком с математикой знают что для полного счастья все предикторы выбранные таким способом должны быть ортогональными (нулевая корелляция между предикторами) что для большинства экономических индикаторов не так. Но из этого есть несколько выходов, о которых попозже.

Итак имеем остаток (ВВП минус модель на основе первого предиктора). Начинаем перебирать вседоступные предикторы и вычислять их ошибку предсказания остатка, а также корреляцию и взаимную информацию с остаком. Получаем такую таблицу (только первые 11 предикторы показаны):

'Delay' 'Error' 'Corr Coeff' 'Mutual info'
pred2 3 0.726557236 0.284915131 0.127184886
pred3 3 0.726787378 0.315902493 0.130087104
pred4 2 0.727334208 0.277286708 0.128992973
pred5 1 0.728784473 0.308420433 0.129030595
pred6 3 0.729279452 0.292608987 0.134332245
pred7 3 0.729297628 0.283750358 0.125613004
pred8 1 0.732298245 0.314324885 0.152677285
pred9 1 0.732362897 0.301421196 0.134899474
pred10 1 0.732917749 0.290449918 0.126357606
pred11 1 0.7342473 0.307902294 0.16423315
pred12 2 0.734315072 0.327789051 0.165246136

В данном случае ошибка предсказания это суммарная ошибка первого предиктора и каждого из предикторов в этой таблице. Выбирать второй предиктор тут нужно осторожно. Хотя pred2 даст нам наименьшую ошибку в сочетании с первым предиктором (PRFI или pred1), коэффициент корелляции и взаимная информация у этого предиктора не так высоки. Pred12 выглядит более обещающим, его и выберу. График зависимости остатка от pred12:

 

Облако стало более размытым. Предсказания на основе pred1 и pred12:

 

 
Vladimir:

Заглядывания в будущего в этих предсказниях нет, так как на каждом прошлом моменте истории использовались GDP и PRFI данные доступные до этого момента. Единственное заглядывание в будущее существует в выборе самого предиктора (PRFI был выбран на всей истории).

Заглядывание в будущее. Очень жаль, но это заглядывание.

Когда у вас ОЧЕНЬ большой набор входящих переменных, то вы всегда можете выбрать из них такой, который будет максимально подходить для выбранного промежутка прогнозируемой переменной, НО НЕ ФАКТ, ЧТО НА САМОМ ДЕЛЕ БУДЕТ СУЩЕСТВОВАТЬ ФУНКЦИОНАЛЬНАЯ ЗАВИСИМОСТЬ МЕЖДУ ФАКТОРОМ И ПРОГНОЗИРУЕМОЙ ФУНКЦИЕЙ.

То есть, для выбранного участка прогнозируемого ВВП США вполне может отлично подойти переменная "Количество больных, поступивших в больницы Анголы с пищевым отравлением", но, очевидно, что функциональной связи нет.

Еще раз - все решает только форвард, без заглядываний (даже в выборе переменных). 

Ловушка большого количества переменных. 

 
Дмитрий:

То есть, для выбранного участка прогнозируемого ВВП США вполне может отлично подойти переменная "Количество больных, поступивших в больницы Анголы с пищевым отравлением", но, очевидно, что функциональной связи нет.

Я часто встречал похожие проблемы при оптимизации экспертов. Можно например оптимизировать эксперта на 10 годах истории, взять самый лучший результат, и потом ничего не заработать на таких настройках. Проблема в том что с найденными настройками эксперт мог 9 лет тупить, а потом вырваться вперёд всего за одну неделю, на которой настройки случайно совпали и принесли много профита. И такая случайность вряд ли повторится в будущем. Неплохой выход это поделить всю историю сделок по годам, посчитать прибыль отдельно за каждый год, и взять самый худший годовой результат.

Для поиска лучшей корреляции я бы использовал такую функцию ошибки: MAX(error(2000-2016), error(2000), error(2001), ..., error(2014), error(2015)). Ничего не гарантирую, для статистики я такой подход не пробовал.

 
Дмитрий:

Заглядывание в будущее. Очень жаль, но это заглядывание.

Когда у вас ОЧЕНЬ большой набор входящих переменных, то вы всегда можете выбрать из них такой, который будет максимально подходить для выбранного промежутка прогнозируемой переменной, НО НЕ ФАКТ, ЧТО НА САМОМ ДЕЛЕ БУДЕТ СУЩЕСТВОВАТЬ ФУНКЦИОНАЛЬНАЯ ЗАВИСИМОСТЬ МЕЖДУ ФАКТОРОМ И ПРОГНОЗИРУЕМОЙ ФУНКЦИЕЙ.

То есть, для выбранного участка прогнозируемого ВВП США вполне может отлично подойти переменная "Количество больных, поступивших в больницы Анголы с пищевым отравлением", но, очевидно, что функциональной связи нет.

Еще раз - все решает только форвард, без заглядываний (даже в выборе переменных). 

Ловушка большого количества переменных. 

Я согласен, даже сам писал такое где-то здесь. Выбирать предиктор на всей истории, а потом использовать форвард тест из той же истории это само-обман, которым занимаются все, от трейдеров до учёных. Многие статьи написанные о предсказании экономики начинают с перечня выбранных предикторов, а потом сообщают "великолепные" результаты. Трейдеры выбирают стратегии например на основе отбоя или пробоя потому что "они работали в прошлом" и надеются что они будут работать в будущем и показывают форвард тесты из прошлого не понимая что их выбор самой стратегии был основан на их изучении ВСЕЙ истории, включая историю для форвард теста. Для меня форвард тестом моей модели ВВП и рынка будет будущее, поэтому открыл эту ветку - помещаю предсказания, смотрим как сбылись в реальном времени. Работа не закончена. Есть много идей по нелинейному преобразованию данных. Например, некоторые предикторы как например HOUST влияют на рост ВВП через какую-то пороговую функцию.
Причина обращения: