Предсказание рынка на основе макроэкономических показателей
не смущает тот факт, что правительство США с целом и комиссию по открытым рынкам в частности неоднократно подозревали в фальсификации и манипуляции макроэкономической статистикой по рынку труда США и ВВП США в целях нужного воздействия на финансовые рынки?
Да, смущает. Смущает также тот факт что опубликованные данные корректируются много раз после их выпуска. Но с другой стороны, трейдеры реагируют на те данные, которые им предоставляет правительство США, двигая рынок в ту или другую сторону, будь те данные фальсифицированы или неполными или преждевременными. Так что методика предсказания рынка на основе этих данных в принципе должна работать.
Вас интересует только S&P или он взят лишь как пример?
Просто у S&P своеобразная модель движения, не похожая на отношение валют.
Вас интересует только S&P или он взят лишь как пример?
Просто у S&P своеобразная модель движения, не похожая на отношение валют.
Да, смущает. Смущает также тот факт что опубликованные данные корректируются много раз после их выпуска. Но с другой стороны, трейдеры реагируют на те данные, которые им предоставляет правительство США, двигая рынок в ту или другую сторону, будь те данные фальсифицированы или неполными или преждевременными. Так что методика предсказания рынка на основе этих данных в принципе должна работать.
Ок, давай посмотрим. Я этим тоже занимался.
Настойчивая подсказка-пожелание - форвард тест
Итак, задача предсказать S&P 500 индекс на основе имеющихся экономических показателей.
Весьма интересная тема. Пробовал делать индикаторы на основе файла данных: занятости, строительства новых домов, продажи новых домов пр. И знаете, невооруженным взглядом видно, что некоторые данные имеют кое-какую корреляцию с фондовым рынком. Но, с валютным по всей видимости корреляций нет. Использовал основные данные статистики США.
Вам не кажется, что Вы выбрали слишком много видов данных? На мой взгляд нужно отсеить незначительные от стоящих данных, те, что влияют на рынок.
Правда я не знаком с нейронным анализом. Все начинаю читать про него и пока не нашел, где доходчиво объясняется его принцип действия.
Весьма интересная тема. Пробовал делать индикаторы на основе файла данных: занятости, строительства новых домов, продажи новых домов пр. И знаете, невооруженным взглядом видно, что некоторые данные имеют кое-какую корреляцию с фондовым рынком. Но, с валютным по всей видимости корреляций нет. Использовал основные данные статистики США.
Вам не кажется, что Вы выбрали слишком много видов данных? На мой взгляд нужно отсеить незначительные от стоящих данных, те, что влияют на рынок.
Большое или малое количество входных данных - это все относительно.
Важнее другое.
Все входные данные делятся на две категории:
- имеющие влияние на целевую переменную
- не имеющую влияния или же имеющие слабое влияние.
Я осознанно употребляю слово "влияние", а не корреляция. Корреляция пустой инструмент, так как корреляция всегда имеет какое-либо значение и не имеет значения "отсутствие значения - NA", что является принципиальным при определении влияния исходных данных на целевую переменную.
Переменные, не имеющие (имеющее слабое влияние - замечу, что это качественная характеристика) являются шумом в определении влияния на целевую переменную. При этом подлость состоит в том, что начиная с некоторого, не определяемого алгоритмически, количества этот шум "забивает" важные переменные и потом из этого суммарного количества не удается алгоритмически выделить "важные" переменные.
Отсюда, приходится вручную рассматривать весь перечень входных переменных и решать интуитивное, или на основе каких-либо других соображений, что "эта входная переменная скорее всего влияет, а эта скорее всего не влияет."
Мне известно несколько десятков алгоритмов определения важности переменных, которые я опробовал на наборе из своей статьи и книги (до 100 входных переменных). Результат именно такой как описал. Ручками отобрал некоторый перечень, а потом отфильтровал алгоритмом и получил перечень. Причем ценность такого перечня носит принципиальный характер: модели, использующие такой набор "влияющих" исходных данных (использую 3 разных типов моделей), НЕ обладают свойством переобученности, которая и является главной засадой. Именно переобученность является главным следствием использования "шумовых" исходных данных.
ПС.
Стационарность никакой роли в моих моделях не играет, а это randomForest, ada, SVM.
...
.... Без стационарности не одна модель работать не будет.
...
Требование стационарности -- очень жёсткое и совершенно неоправданное.
.
А "без стационарности" модели вполне себе работают ;)
алгоритм регрессии поможет спрогнозировать любой показатель на основе любых данных даже если нет явной связи между ними
- Бесплатные приложения для трейдинга
- 8 000+ сигналов для копирования
- Экономические новости для анализа финансовых рынков
Вы принимаете политику сайта и условия использования
Итак, задача предсказать S&P 500 индекс на основе имеющихся экономических показателей.
Шаг 1: Находим показатели. Показатели имеются в общем доступе здесь: http://research.stlouisfed.org/fred2/ Их там 240 тысяч. Самым главным является рост GDP. Этот показатель расчитывается каждый квартал. Отсюда наш шаг - 3 месяца. Все индикаторы на более коротком периоде перерасчитываются на 3-х месячный период, остальные (годовые) отбрасываются. Отбрасываем также показатели для всех стран кроме США и показатели, у которых нет глубокой истории (по крайней мере 15 лет). Итак кропотливым трудом отсеиваем кучу показателей и получаем порядка 10 тыс показателей. Формулируем более конкретную задачу прдесказать S&P 500 индекс на один или два квартала вперёд имея в наличии 10 тыс экономических показателей с квартальным периодом. Я делаю всё в МатЛабе, хотя можно и в R.
Шаг 2: Преобразуем все данные к стационарному виду путём дифференцирования и нормирования. Методов тут много. Главное чтобы из преобразованных данных можно было восстановить первоначальные данные. Без стационарности не одна модель работать не будет. S&P 500 ряд до и после преобразования показан внизу.
Шаг 3: Выбираем модель. Можно нейронную сеть. Можно много-переменную линейную регрессию. Можно много-переменную полиномную регрессию. После опробования линейных и нелинейных моделей приходим к выводу что данные настолько зашумлены что вписывать нелинейную модель смысла нет т.к. y(x) граф, где y = S&P 500 и x = один из 10 тыс показателей, бредставляет собой почти круглое облако. Таким образом формулируем задачу ещё более конкретно: предсказать S&P 500 индекс на один или два квартала вперёд имея в наличии 10 тыс экономических показателей с квартальным периодом используя много-переменную линейную регрессию.
Шаг 4: Выбираем из 10 тыс экономических показателей наиболее главные (уменьшаем размерность задачи). Это самый главный и трудный шаг. Допустим берём историю S&P 500 длинной в 30 лет (120 кварталов). Чтобы представить S&P 500 в виде линейной комбинации экономических показателй разного рода, достаточно иметь 120 показателей чтобы точно описать S&P 500 за эти 30 лет. Причём показатели могут быть совершенно любыми чтобы создать такую точную модель из 120 показателей и 120 значений S&P 500. Значит нужно уменьшать количество входов ниже количества описываемых значений функции. Например ищем 10-20 наиболее важных показателей-входов. Такие задачи описания данных небольшим количеством входов, выбранных из огромного количества кандидатов-базисов (словаря), называются разряжённым кодированием (sparse coding).
Методов отбора входов-предсказателей много. Я перепробовал их все. Вот главные два:
Вот первые 10 индикаторов с максимальным коэффициентом корреляции с S&P 500:
Вот первые 10 индикаторов с максимальной взаимной информацией с S&P 500:
Lag это задержка входного ряда по отношению к моделируемому ряду S&P 500. Как видно из этих таблиц, разные методы выбора наиважнейших входов приводят к разным наборам входов. Так как моей конечной целью является минимизация ошибки модели, то я выбрал второй метод выбора входов, т.е. перебор всех входов и выбор того входа который дал наименьшую ошибку.
Шаг 5: Выбираем метод расчёта ошибки и коэффициентов модели. Наипростейшим методом является метод СКО, поэтому линейная регрессия, использующая этот метод, так популярна. Проблема метода СКО в том что он чувствителен к выбросам (outliers), т.е. эти выбросы существенно влияют на коэфициенты модели. Чтобы уменьшить эту чувствительность, вместо суммы квадратов ошибок можно использовать сумму абсолютных значений ошибок, что ведёт к методу наименьших модулей (МНМ) или robust regression. Этот метод не имеет аналитического решения для коэффициентов модели в отличие от линейной регрессии. Обычно модули заменяются на плавные/дифференцируемые аппроксимирующие функции и решение ведётся численными методами и долго. Я пробовал оба метода (лин регрессии и МНМ) и особого преимущества МНМ не заметил. Вместо МНМ, я пошёл в обход. На втором шагу получения стационарных данных путём их дифференцирования, я добавил операцию нелинейной нормализации. То есть, исходный ряд x[1], x[2], ... x[i-1], x[i] ... сначала преобразуется в ряд разниц x[2]-x[1] ... x[i]-x[i-1] ... и потом каждая разница нормализуется путём её замены на sign(x[i]-x[i-1])*abs(x[i]-x[i-1])^u, где 0 < u < 1. При u=1, мы получаем классический метод СКО с его чувствительностью к выбросам. При u=0, все значения входного ряда заменяются на бинарные значения +/-1 практически без выбросов. При u=0.5, получаем что-то близкое к МНМ. Оптимальное значение u лежит где-то между 0.5 и 1.
Следует отметить что одним из популярных методов преобразования данных к стационарному виду является замена значений ряда на разницу логарифмов этих значений, т.е. log(x[i]) - log(x[i-1]) или log(x[i]/x[i-1]). Выбор такого преобразования опасен в моём случае так как в словаре 10 тыс входов много рядов с нулевыми и отрицательными значениями. Логарифм также имеет преимущетсво уменьшения чувствительности метода СКО к выбросамы По существу, моя функция преобразования sign(x)*|x|^u имеет ту же цель что и log(x), но без проблем связанных с нулевыми и отрицательными значениями.
Шаг 6: Расчитывем предсказание модели путём подстановки свежих входных данных и расчёта выхода модели используя те же коэффициенты модели, кторые были найдены линейной регрессией на предыдущем участки истории. Тут важно иметь в виду что квартальные значения экономических показателей и S&P 500 приходят почти одновременно (с точностью до 3 месяцев). Поэтому чтобы предсказать S&P 500 на следующий квартал, модель должна быть построена между текущим квартальным значением S&P 500 и входами задержанными по крайней мере на 1 квартал (Lag>=1). Чтобы предсказать S&P 500 через один квартал вперёд, модель должна быть построена между текущим квартальным значением S&P 500 и входами задержанными по крайней мере на 2 квартала (Lag>=2). И так далее. Точность предсказаний существенно снижается с увеличением задержки больше 2.
Шаг 7: Проверяем точность предсказаний на предыдущей истории. Первоначальная методика описанныя выше (вписываем каждый вход в предыдущую историю, выбираем вход дающий наименьшую СКО и рассчитывем предсказание по свежему значению этого входа) дала СКО предсказания, которая была ещё хуже чем случайные или нулевые предсказания. Задался таким вопросом: а почему вход, который хорошо вписался в прошлое, должен иметь хорошую предсказуемую способность будущего? Имеет смысл выбирать входы модели на основе их предыдущей ошибки предсказаний, а не на основе наименьшей ошибки регрессии на известных данных.
В конце концов, моя модель может быть пошагово описанa так:
Вкратце, выбор предсказателя зависит от его СКО предсказний предыдущих значений S&P 500. Заглядывания в будущее нет. Предсказатель может меняться по времени, но в конце тестируемого отрезка он в основном перестаёт меняться. Моя модель выбрала PPICRM с задержкой в 2 квартала как первый вхoд для предсказания Q2 2015. Линейная регрессия S&P 500 выбранным входом PPICRM(2) за 1960 - Q4 2014 показана внизу. Чёрные кружки - линейная регрессия. Разноцветные кружки - исторические данные за 1960 - Q4 2014. Цвет кружка означает время.
Предсказания S&P 500 в стационарном виде (красная линия):
Предсказания S&P 500 в исходном виде (красная линия):
Из графика видно что модель предсказывает рост S&P 500 во втором квартале 2015 года. Добавление второго входа увеличивают ошибку предсказаний:
1 err1=0.900298 err2=0.938355 PPICRM (2)
2 err1=0.881910 err2=0.978233 PERMIT1 (4)
где err1 это ошибка регрессии. Очевидно что она уменьшается от добавления второго входа. err2 это средне-квадратичная ошибка предсказания, делённая на ошибку случайных предсказаний. То есть err2>=1 означает что предсказание моей моделью не лучше чем случайные предсказания. err2<1 означает что предсказание моей моделью лучше чем случайные предсказания.
PPICRM = Producer Price Index: Crude Materials for Further Processing
PERMIT1 = New Private Housing Units Authorized by Building Permits - In Structures with 1 Unit
Описанная выше модель может быть перефразирована таким образом. Собираем 10 тыс экономистов и просим их предсказать рынок на квартал вперёд. Каждый экономист проходит со своим предсказанием. Но вместо того чтобы выбрать какое-то предсказание на основе количества написанных ими учебников или полученных Нобелевских премий в прошлом, мы ждём несколько лет, собирая их предсказания. После существенного количества предсказаний, мы видим какой экономист более точный и начинаем верить его предсказаниям до тех пор пока какой-нибудь другой экономист не превзойдёт его по точности.