Кластерные методы прогноза рынка. - страница 6

 
Aleksey Ivanov:

Свечные паттерны, что по своей логике относятся к таким кластерам, конечно,  так (статистически корректно) никто  не кластеризовал. Они идентифицировались в результате многолетних  наблюдений трейдерами за рынком.   Но, тем не менее, это первый и самый широко известный трейдерами  тип кластеров, что я и хотел пока – на первом этапе (без привлечения объемов) обсудить.  

И, собственно, я предложил тем участникам форума, что свечным анализом занимаются, 

найти характерные (самые обычные без привлечения объемов) паттерны на нижеследующих графиках.  

Рис.1.

Рис.2.

Рис. 3.

Рис.4.

Рис. 5.

Алексей, я смотрю на рис.1: вижу 9-ю и 10-ю свечу — этот разворотный паттерн называют рельсы. На рис.2: 2-я и 3-я свечи явл внутненними, после них движение может быть в сторону 1-вой свечи. На рис.3: 3-я свеча является пинбаром (с длинным носом, как Пиноккио), после неё обычно движение в сторону короткой тени.

На рис.4: вижу 21-ю свечу - это молот (правда ручка молота коротковата), после молота обычно движение — противоположное от ручки. На рис.5 после 71-ой свечи вижу четыре внутренних свечи; после этого должно быть движение в сторону 71-ой свечи, но здесь, почему-то рынок решил идти наверх.

А теперь, Алексей, добавляем к эти паттернам объёмы ? Таком Ваш замысел ?

 
Veniamin Skrepkov:


 Обсуждение паттернов без объёмов -  это японские модели или Прайс экшен  , выделен участок  ( повешенный - падающая звезда- хаммер ) где рынком  реализована схема движения =  вверх-вниз и вверх через низ. 

   

Это хорошо, спасибо. Но на тех то, что я в зипе на первом посте выложил (12 шт.), там (хотя бы на одном) можно что-то углядеть?
 
Aleksey Ivanov:

Итак, хочу вернуть ветку в намеченное русло.  Здесь мне хотелось бы, с Вашей помощью, Господа,  выявить сильные и слабые стороны существующих кластерных подходов  к прогнозу рынка и  наметь  новые, возможно более перспективные, подходы.

Объясняю на пальцах (для тех кто не знает) – что такое кластерный подход применительно к рынку. 

Но, сначала о динамике рынка.

 Цена может испытывать  большие и, действительно непредсказуемые (для основной массы людей) скачки (1) при сильных событиях (важных новостях о: экономических постановлениях, катаклизмах, крупных  события бизнеса и политики и т.д.). При этом происходит  релаксация вызываемых сим колебаний со временем  пропорциональным ~1/N.   Но  рынок, как бы живет еще и «своей жизнью» (где идут процессы его самоорганизации), испытывая и (2) собственные (не вызываемые сторонним воздействием) и порой ничуть не меньшие скачки, что даже  характеризуемы другим законом релаксации  Sqrt(1/N),  что, заметим, гораздо чаще происходит, чем релаксации ~1/N, поэтому, как это не непривычно для нас звучит, но  рынок функционирует, преимущественно, по собственным законам.

Скачок первого типа  также не происходит сразу (ведь в его формировании задействована масса людей),  что накладывает какие-то специфические характеристики на тот участок истории котировки, что зажат от момента свершения сильного события до вызываемого им всплеска. Участок истории, предшествующий скачку  второго типа, тем более, должен  содержать  в себе  какие-то специфические черты (латентной раскачки рынка и его падения из очередного состояния неустойчивого равновесия).

Теперь кластеризация. 

Итак, исходная гипотеза состоит в том, что есть небольшой предшествующий скачку цены участок  истории котировки (плюс история объема, что туда входит), в коем закодирована информация о последующем скачке.

Далее, чисто техническая часть. Вводится  пространство  определенных параметров или состояний, например: (1) тривиальный геометрический образ в виде паттерна свечей или (2) пространство разных мод частот, получаемое при Фурье разложении этого участка (временного ряда),  или (3) разложение в спектр по ортогональным вельветным  функциям (что гораздо лучше, т.к. участок короткий)  или (4)  разложение в спектр по еще каким-то ортогональным функциям и т.д.

Потом берется  огромное – статистически  значимое множество таких (предшествующих скачкам) участков и анализируется  их  заполнение  этого пространства состояний. И если  они будут значительно концентрироваться в каких-то  местах этого пространства (а остальные участки истории – не предшествующие скачкам - туда не попадут), то это и будет искомым кластером (или набором кластеров 1-го и 2-го типов), позволяющим делать прогноз. 


То, что Вами описано в наивном виде, называется  КЛАССИФИКАЦИЕЙ, которая бывает двух видов:

  • без учителя, когда исходное множество разбивается на некоторые группы
  • с учителем, когда исходное множество разбивается под значения учителя.

Кластеризация в своем классическом понимании относится к обучению без учителя. Для ранка очень интересным алгоритмом является метод опорных векторов  - SVM.

Вы же, начав с обучения без учителя, добавили поиск участков, которые для Вас представляют интерес, а это уже обучение с учителем, когда вы разбиваете не просто на подмножества, а при неком условии.


Вынужден Вас огорчить, что все это настолько хорошо проработано, имеются горы публикаций и готового софта, что для одного человека это в принципе не подъемно. Более того, соответствующие материалы имеются на этом сайте и широко обсуждаются.   


Мне кажется, что Вы уже пытались изобрести велосипед, а это очередной.

Сделайте для себя выбор, по грубому из двух направлений:


  • Вы изучаете статистические характеристики котировок с целью избавиться от нестационарности и пытаетесь от этой нестационарности, моделируя разные нюансы
  • Вы формируете для себя цель торговой системы, например, торгуете новости, как выше Вы написали. Размечаете исходный график этими самыми новостями, а потом ищете исходные данные, которые способны предсказывать эти новости. А готовый алгоритм, которых туча, сделает "кластеризацию с учителем" и сопоставит тонкости в исходных данных этим самым Вашим новостям. 

Главное, определитесь, и помня, что до Вас эти вопросы пытались решить сотни тысяч очень образованных людей, изучите имеющуюся литературу, имеющийся софт, а там....


И просто пожелание: прекратите изобретать велосипеды.

 
Victor Ziborov:

Алексей, я смотрю на рис.1: вижу 9-ю и 10-ю свечу — этот разворотный паттерн называют рельсы. На рис.2: 2-я и 3-я свечи явл внутненними, после них движение может быть в сторону 1-вой свечи. На рис.3: 3-я свеча является пинбаром (с длинным носом, как Пиноккио), после неё обычно движение в сторону короткой тени.

На рис.4: вижу 21-ю свечу - это молот (правда ручка молота коротковата), после молота обычно движение — противоположное от ручки. На рис.5 после 71-ой свечи вижу четыре внутренних свечи; после этого должно быть движение в сторону 71-ой свечи, но здесь, почему-то рынок решил идти наверх.

А теперь, Алексей, добавляем к эти паттернам объёмы ? Таком Ваш замысел ?

Не объемов нет. Это следующий этап. Ну так взять зип и грубо обвести эти характерные места (с названиями паттернов) можно?
 
СанСаныч Фоменко:

То, что Вами описано в наивном виде, называется  КЛАССИФИКАЦИЕЙ, которая бывает двух видов:

  • без учителя, когда исходное множество разбивается на некоторые группы
  • с учителем, когда исходное множество разбивается под значения учителя.

Кластеризация в своем классическом понимании относится к обучению без учителя. Для ранка очень интересным алгоритмом является метод опорных векторов  - SVM.

Вы же, начав с обучения без учителя, добавили поиск участков, которые для Вас представляют интерес, а это уже обучение с учителем, когда вы разбиваете не просто на подмножества, а при неком условии.


Вынужден Вас огорчить, что все это настолько хорошо проработано, имеются горы публикаций и готового софта, что для одного человека это в принципе не подъемно. Более того, соответствующие материалы имеются на этом сайте и широко обсуждаются.   


Мне кажется, что Вы уже пытались изобрести велосипед, а это очередной.

Сделайте для себя выбор, по грубому из двух направлений:


  • Вы изучаете статистические характеристики котировок с целью избавиться от нестационарности и пытаетесь от этой нестационарности, моделируя разные нюансы
  • Вы формируете для себя цель торговой системы, например, торгуете новости, как выше Вы написали. Размечаете исходный график этими самыми новостями, а потом ищете исходные данные, которые способны предсказывать эти новости. А готовый алгоритм, которых туча, сделает "кластеризацию с учителем" и сопоставит тонкости в исходных данных этим самым Вашим новостям. 

Главное, определитесь, и помня, что до Вас эти вопросы пытались решить сотни тысяч очень образованных людей, изучите имеющуюся литературу, имеющийся софт, а там....


И просто пожелание: прекратите изобретать велосипеды.

Подумаю, сразу не переваришь. Просто я всегда следую своей логике, может быть и велосипеды при сем получаются. Для этого обсуждение и нужно.

 
Victor Ziborov:

Алексей, я смотрю на рис.1: вижу 9-ю и 10-ю свечу — этот разворотный паттерн называют рельсы. На рис.2: 2-я и 3-я свечи явл внутненними, после них движение может быть в сторону 1-вой свечи. На рис.3: 3-я свеча является пинбаром (с длинным носом, как Пиноккио), после неё обычно движение в сторону короткой тени.

На рис.4: вижу 21-ю свечу - это молот (правда ручка молота коротковата), после молота обычно движение — противоположное от ручки. На рис.5 после 71-ой свечи вижу четыре внутренних свечи; после этого должно быть движение в сторону 71-ой свечи, но здесь, почему-то рынок решил идти наверх.


Спасибо, в принципе, достаточно информации. Не хочу Вас больше грузить.

 
Aleksey Ivanov:

Подумаю, сразу не переваришь. Просто я всегда следую своей логике, может быть и велосипеды при сем получаются. Для этого обсуждение и нужно.

Интересно, как бы Вы отреагировали, если бы экономисты, а еще хуже, трейдеры начали заниматься контролем атомных реакторов.

Здесь последствия только для карманов, но суть одинакова.

Поставьте R. На сегодня это стандарт в статистике, и есть все для математических моделей в трейдинге. Есть код в огромном количестве, код ОБЯЗАТЕЛЬНО сопровождается ссылками на алгоритм, есть учебная литература, специальная, периодическая - в общем все по уму с прекрасным поиском.

1. Если Вас привлекает статистика, то это модели ARMA-ARIMA-AFRIMA-ARCH-GARCH, которых свыше сотни

2. Если Вас привлекает классификация, то поставьте rattle, который не требует вообще никакой подготовки, но даст Вам возможность увидеть системно классификацию, т.е: подготовку исходных данных (datamining), модели (их там 6) и оценку результатов классификация. Для облегчения могу посоветовать свою статью, которая является выжимкой из документации, но привязана к форексу.


В обоих направления грааля нет. В обоих направлениях есть решенные проблемы, которые открыли еще большее количество нерешенных проблем. 

 
СанСаныч Фоменко:

Интересно, как бы Вы отреагировали, если бы экономисты, а еще хуже, трейдеры начали заниматься контролем атомных реакторов.

Здесь последствия только для карманов, но суть одинакова.

Поставьте R. На сегодня это стандарт в статистике, и есть все для математических моделей в трейдинге. Есть код в огромном количестве, код ОБЯЗАТЕЛЬНО сопровождается ссылками на алгоритм, есть учебная литература, специальная, периодическая - в общем все по уму с прекрасным поиском.

1. Если Вас привлекает статистика, то это модели ARMA-ARIMA-AFRIMA-ARCH-GARCH, которых свыше сотни

2. Если Вас привлекает классификация, то поставьте rattle, который не требует вообще никакой подготовки, но даст Вам возможность увидеть системно классификацию, т.е: подготовку исходных данных (datamining), модели (их там 6) и оценку результатов классификация. Для облегчения могу посоветовать свою статью, которая является выжимкой из документации, но привязана к форексу.


В обоих направления грааля нет. В обоих направлениях есть решенные проблемы, которые открыли еще большее количество нерешенных проблем. 

Давно меня в R зазывают (еще в 2007 админ на инвестор_ру советовал, когда я прогнозные "велосипеды" там сочинял, типа модификаций ARIMA). Будете меня инструктировать по R, если, в конце концов, решусь?

Кстати по делу  в один экзек файл mql4-5 можно  зашить  обработку данных, производимых в R и, если да, то  насколько сложно?

Да, кстати и о реакторах - там сейчас безграмотные менеджеры во всю рулят вместе со своими любовницами. На вулкане, между прочим, живем. Второй чернобыль наша экономика не потянет.  
 
СанСаныч Фоменко:



В обоих направления грааля нет. 

Дык нафигаж ты с этой хренью во все нормальные темы лезешь то?
 
Aleksey Ivanov:

Давно меня в R зазывают (еще в 2007 админ на инвестор_ру советовал, когда я прогнозные "велосипеды" там сочинял, типа модификаций ARIMA). Будете меня инструктировать по R, если, в конце концов, решусь?

Кстати по делу  в один экзек файл mql4-5 можно  зашить  обработку данных, производимых в R и, если да, то  насколько сложно.


По возможности. У меня очень ограниченные знания моими потребностями. Основная проблема не в R, который для наших потребностей осваивается в течение часа, а в содержании пакетов, реализующих математические методы.


Для связи терминала с R есть ДЛЛ. Работает без проблем. Примитивная, но работает быстро - все через память. Есть отладчик связи между терминалом и R. 

Берет экселевские файлы. Ваши идеи по кластеризации Вы сможете проверить в тот же день, как поставите R у себя.

Функциональное разделение при эксплуатации очевидное:

  • МТ - торговые функции + управление капиталом
  • R - модели 

При разработке МТ вообще не нужен: в R рай для разработчика - куча моделей + чудесная графика
Причина обращения: