Обсуждение статьи "Прогнозирование рыночных движений с помощью байес-классификации и индикаторов на основе сингулярного спектрального анализа" - страница 2

 
СанСаныч Фоменко:


Учитывая достаточно высокий уровень статьи, я хочу зародить сомнения у автора, а именно необходимость  написания эксперта на данном этапе. В статье отсутствуют доказательства того, что результатам тестирования эксперта можно будет доверять. Ну, получим 2 или 3, даже 10 величин профит-фактора, или любых других величин из тестера,  - это статистика? В чем состоит гарантия, что в БУДУЩЕМ эксперт будет вести себя аналогичным образом?

В основе этих сомнений лежит утверждение автора, что SSA способна работать на НЕ стационарных рынках. Где доказательство? Я такого доказательства не помню. 

Предположим я что-то упустил в этом вопросе. Но в статье совершенно не указано какие разновидности нестационарности решает SSA и каков результат. Можно выделить тренд? Но после этого остаток от вычитания тренда не обязательно будет стационарным. Этот вопрос очень детально рассматривается в рамках ARCH-моделей. Из-за разнообразия остатков возникло очень большое разнообразие ARCH моделей.

Этого куска в статье нет, а,следовательно, нет доказательств, что торговые решения принимаются на стационарном временном ряде. Отсюда вытекает, что будущее поведение ТС на этих идеях НЕ предсказуемо.


ПС.

Лет 10 назад пользовал "гусеницу" (FATL-SATL). Советники жили от 3 до 6 месяцев, потом начинали сливать. Основная проблема не только в НЕ стационарности в классическом смысле (меняется МО и дисперсия), но и в меняющейся периодичности, что хорошо видно по ЗЗ.   


То, что ССА используется для анализа нестационарных временных рядов не "утверждение автора",  а особенность  метода, основанная на формировании собственного ортогонального базиса, наиболее оптимального для данного фрагмента временного ряда.  Собственно, даже тренд или периодичность - это уже нестационарность. Поэтому торговые решения не принимаются на стационарном ряде, поскольку такого ряда у нас нет и приближения к нему нет (в отличие от ARMA-моделей). Модель основывается на представлении временного ряда в виде суммы тренда, периодических (с изменяющимся периодом) и шумовых компонент. Шумы в модели не контролируются и фильтруются, а для устойчивых составляющих есть прогноз на самое ближайшее будущее. Метод предполагает локальную стабильность, а не стационарность процессов формирующих цены. Во-вторых, гарантий тоже никто не дает. Речь идет о том, что обучение модели на некотором наборе исторических данных, выбранных произвольно, показало устойчивые результаты ее применения на других рядах и масштабах времени. Насколько длительные эти результаты - отдельный вопрос, но на мой взгляд, это контролируемо, например прогоном по "новейшей истории"  перед торгами. Переобучение также  занимает немного времени. Более важно, опять же с моей точки зрения - надежнее фильтровать возможные "ложные входы" и понижать риски, а это в дальнейшем потребует расширения эксперта методами контроля,например: ограничение торгов бота по расписанию, расширение набора индикаторов для байес-анализа или с помощью нейронных сетей. А результаты нынешнего тестирования покажут, что фильтры которые уже имеются, работают или требуют развития.  Единственным доказательством пригодности станет как и всегда практика. 
 
Roman Korotchenko:

Шумы в модели не контролируются и фильтруются.... 


Из Вашего поста  для меня ключевой фразой является приведенная.

Шум можно и нужно фильтровать, если он стационарный, а лучше нормально распределенный. А если шум не таковой, а из статьи мы не знаем какой шум остается после фильтрации SSА, то фильтровать его нельзя не при каких обстоятельствах. Именно на этом построены все модели ARCH, так как всегда собака зарыта в толстых хвостах, которые и не всегда имеют место в распределении шума, но при возникновении обязательно сольют депо.


К Вашей идеи можно подойти с другой стороны.

Дело в том, что Вы используете классификатор, на вход которого подаются предикторы, подготовленные SSA. В этом случае лично для меня не очень ясна важность стационарность используемых предикторов, но здесь имеются хорошо доказанные требования к предикторам, подаваемых на вход классификатора - их надо очистить от шумовых, т.е. таких, которые имеют "слабое отношение к целевой переменной (не надо путать с упомянутым выше шумом). Самое интересное, что любые разновидности сглаживания (тренды) относятся в этом подходе к шуму. Это все имеется в ветке "Машинного обучения".


Как не крути....


ПС.

Практика - критерий истины, но только в том случае если эта практика основана на теории.

 
СанСаныч Фоменко:


Из Вашего поста  для меня ключевой фразой является приведенная.

Шум можно и нужно фильтровать, если он стационарный, а лучше нормально распределенный. А если шум не таковой, а из статьи мы не знаем какой шум остается после фильтрации SSА, то фильтровать его нельзя не при каких обстоятельствах. Именно на этом построены все модели ARCH, так как всегда собака зарыта в толстых хвостах, которые и не всегда имеют место в распределении шума, но при возникновении обязательно сольют депо.


Иными словами, Эффект бабочки никто не отменял :)
 
SSA это ведь метод главных компонент?
 
Комбинатор:
SSA это ведь метод главных компонент?

Скорее БПФ.
 
Комбинатор:
SSA это ведь метод главных компонент?


Похожий на него. Алгоритмы несколько отличаются. Общее описание можно посмотреть у Лоскуткова А.Ю. "Анализ временных рядов. Курс лекций МГУ". Прогнозировать с его помощью можно либо с помощью "Гусеницы", либо авторегрессией.

В отличие от метода Фурье, ССА выделяет составляющие с модулированной амплитудой и частотой, а так же непериодические компоненты. 

Что касается шума, который нужно исследовать, на следующем шаге SSA комбинируется с  моделями Бокса-Дженкинсона (АРПСС и т.п.) и уже эти модели работают с "остатком" от тренда, полученного CCA. 

Утверждается, что с точки зрения прогнозирования перспективной является модель, сочетающая GARCH-процесс с моделью, описывающей поведение среднего. Как вариант, можно далее реализовать в  эксперте GARCH+SSA.

Не следует упускать из виду "уровень хаотичности" ряда на используемом временном горизонте. Если он "зашкаливает", то прогноз по самой прекрасной модели ничего путнего не даст и процесс не характеризуется долгой памятью. Так что в дальнейшем логично добавлять оценку фрактальности ряда (подобно экспоненте Херста) на предмет выяснения "цвета" шума и классификации текущего ценового процесса. Это подсказывает, что надежный эксперт должен в первую очередь отслеживать и оптимизировать уровень риска для капитала, которым он управляет.

 
Roman Korotchenko:

Не следует упускать из виду "уровень хаотичности" ряда на используемом временном горизонте. Если он "зашкаливает", то прогноз по самой прекрасной модели ничего путнего не даст и процесс не характеризуется долгой памятью. Так что в дальнейшем логично добавлять оценку фрактальности ряда (подобно экспоненте Херста) на предмет выяснения "цвета" шума и классификации текущего ценового процесса. Это подсказывает, что надежный эксперт должен в первую очередь отслеживать и оптимизировать уровень риска для капитала, которым он управляет.

Так "уровень хаотичности" это основной момент, из-за которого ваша модель не будет работать никогда, поэтому я бы не называл ее прекрасной, скорее бредовой. Это угадайка, 50 на 50. Кто вам вообще сказал, что на рынке процессы чаще персистентные чем антиперсистентные, например... и что на нем существуют какие-то периодические циклы вообще. На скринах типичные предсказания подобного рода систем, которые ну ни о чем... 

Но, я преклоняюсь перед Вашим уровнем понимания и опытом в математике и в построении моделей, за это, конечно, 5++.. что бы не показалось что я критикую все и вся :)


 
Stanislav Korotky:

Скорее БПФ.
Ой, тьфу, да, совсем попутал. Ну тогда еще более бесполезная штука )
 
Maxim Dmitrievsky:

Так "уровень хаотичности" это основной момент, из-за которого ваша модель не будет работать никогда, поэтому я бы не называл ее прекрасной, скорее бредовой. Это угадайка, 50 на 50. Кто вам вообще сказал, что на рынке процессы чаще персистентные чем антиперсистентные, например... и что на нем существуют какие-то периодические циклы вообще. На скринах типичные предсказания подобного рода систем, которые ну ни о чем... 

Но, я преклоняюсь перед Вашим уровнем понимания и опытом в математике и в построении моделей, за это, конечно, 5++.. что бы не показалось что я критикую все и вся :)



Если Вы полагаете, что на рынке все движения случайны, то Вы сильно заблуждаетесь. Все современные модели пытаются учесть эффект предыстории - "тяжелых хвостов", поскольку в них содержатся "предвестники" дальнейшего поведения. Основная задача модели - извлечь сигналы предвестников из шума, а проблема модели - ее адекватность ситуации и способность к адаптации.
 
Roman Korotchenko:

Если Вы полагаете, что на рынке все движения случайны, то Вы сильно заблуждаетесь. Все современные модели пытаются учесть эффект предыстории - "тяжелых хвостов", поскольку в них содержатся "предвестники" дальнейшего поведения. Основная задача модели - извлечь сигналы предвестников из шума, а проблема модели - ее адекватность ситуации и способность к адаптации.

Появился 1 предвестник, спрогнозировали, через 3 бара появился другой предвестник, и так до бесконечности.. на рынке нет одного источника, влияющего на цены, поэтому начальные условия для развития той или иной ситуации возникают спонтанно и перекрывают друг друга. Допустим, мы нашли какие-то начальные условия, которые продолжают влиять на ситуацию, как мы можем быть уверены что на следующем баре не возникнет очередная влияющая инфа, которая опять все собьет? где критерии оценки достоверности прогноза
Причина обращения: