Адаптивные цифровые фильтры - страница 9

 
NorthernWind:
Prival:
в остатках был шум, но не гаусовский. Странный какой то шум +-1 пипс и больше ничего, несколько редких выбросов 2-5 пипсов плюс 1 гэп был пунктов 40 (специально искал недельку с хорошим гэпом).

И я и Mathemat и ещё кто то этот шум видели на тиках. При чем, на тиках видно что у +-1 пипс вероятность обратного движения выше чем его продолжение. К сожалению эта закономерность внутри спреда. Да и невысокая она.

А вот то что она появилась после обработки - это интересно.

Вы анализировали returns, я видел все что вы выкладывали. По нескольку раз перечитывал. Я делал по другому. Брал все тики за неделю, удалял тренд y(x)=a*x+b. В остатках искал колебательный процесс. Вычислял АКФ. И с помощью Калмана удалял это колебание, и так до тех пор пока не получилось почти похожее, на ретурнс (практически оно и вышло). Я искал все составляющие процесса, хотел приблизительно оценить размерность модели (сколько значимых колебаний есть на неделе)
 
grasn:

to Piligrimm

На счет полиномов - Вы глубоко заблуждаетесь. Они могут эффективно использоваться для предсказания…

Я когда то пробовал из всех доступных в MathCad и MathLab способов – меня результат не устроил.

PS: а аватар у Вас случайно не вселенский звук «ОМ» символизирует?


Могу только повторить, если что-то не получилось у Вас, это не значит, что это не может быть вообще. Продолжайте поиск, я уверен, на основании своего практического опыта, что использование полиномов в прогнозировании не менее эффективно, чем нейронные сети, хотя и значительно более трудоемко. Насчет аватара - Вы правы.
 
Prival:

to grasn and rsi and all

Хочу немного пояснить, а то Вы уже по мне не раз проходились, за лозунг «Миром правит число». Ведь я привел это для того, что бы Вы обратили внимание на это. Да именно на частоту дискретизации. Ведь вы улыбаетесь, а мне кажется не до конца понимаете про что я говорил. Предлагаю Вам провести очень простой эксперимент. Допустим цена меняется по синусоидальному закону. Нарисуйте синусойду на листке, и поставьте на ней два отсчета. Типа вот такого.

Рис.1

Т.е. мы взяли Close минутки, и считаем что это правильная оцифровка см. рис 1. (синие отметки). Да вроде все красиво и правильно, а теперь задумайтесь, если первый тик пришел не точно в конце минуты, а допустим за 2 сек до конца минуты, + второй тик был не в конце минуты, а в её начале. Смотрите рис. 2 что получается. (синие отсчеты стоят по другому на оси времени). И получается, что синусойда поменялась, частота не та, фаза не та, да и вообще все плохо ....

Рис.2

Кто мне скажет какая синусойда истинная ? А может еще и прогноз даст, какое число будет при следующем Close (даже если это строго синусойда)?

Уже сколько копий сломано при анализе оси Y (цены), а про ось X (время) забывают. Ну или думают, что все нормально. Берут Close и вперед. И в результате …. долгие и упорные поиски и выводы ЦОС не работает.

А давайте по другому запишем эту аббревиатуру вот так ОЦС. (ОБРАБОТКА ЦИФР !!!) осталось только определить что является сигналом. Неужели мы цифры не умеем обрабатывать типа складывать, вычитать, умножать и делить, что там у нас еще есть ?. Ну кто тут не знает ОЦ, эти сложнейшие операции.

Может все таки задумаетесь, почему многие методы ЦОС не дают тех ожидаемых от них результатов. Может правильная обработка по оси X, улучшит многие методы обработки цифр начиная с простейшей МА ? И за сигнал (полезную составляющую, что двигает рынком) тоже мало что известно, что ни читаю одна философия :-(.

И к сожалению, миром правят деньги, а не число.

Хотя до сих пор берусь доказать любому (можно и на коньяк, а то я тут уже многим задолжал :-)), что если между той «истинной» ценой, которую никто не знает, стоит кто то кто может управлять частотой дискретизации, то он может делать все что хочет. Из обычной синусоиды с частотой 100 Мгц, можно сделать любую кривую, что вы видите на экране. Ну хотя бы вспомните фильмы, где колеса назад крутятся, а телега в перед едет :-).

И поэтому та красивая фраза, «миром правит число и имя этому числу - частота дискретизации». Не так уж и плоха. Ведь управляя этим числом, можно управлять кривой на экране, т.е. стоимостью (ценой) денег. А раз денежки правят миром, то управляя денежками я буду управлять и миром. Тьфу, тьфу, тьфу … чур меня.

З.Ы. grasn что за мультик, «бобер-выдыхай» хочу очень посмотреть :-). И Вы от меня так просто не отделаетесь, типа Prival в тину ушел, не дождетесь :-).

Да и в свете выше написанного, для меня любой ДЦ никогда не будет тем всемогущим БОГОМ, который мне может подсунуть, любую цифру в любое время. Слабоваты будут :-) Привала с боевого курса трудно сбить :-)

Когда я начинал исследование рынка Форекс в 2000 году, я тоже полагал, исходя из моего предыдущего опыта в моделировании и прогнозировании временных рядов, что нужно прогнозировать и цену и время одновременно для того, чтобы получить точную и объективную картину процессов. Но после нескольких лет экчпериментов пришел к выводу, прогнозировать время на рынке Форекс на порядок сложнее чем цену и для удовлетворительного прогноза вычислительных ресурсов доступных мне компьютеров не хватает, а для относительно нормальной торговли достаточно знать только направление цены на один шаг вперед. Поэтому, глядя на Ваши графики синусоид можно сказать, что в принципе не проблема, что изменилась фаза и частота, амплитуда и в том и в другом осталась таже, и исходя из этого можно вполне спрогнозировать направление движения цены, если нетребуется ничего более сложного, и не стоит заморачиваться над этим.
 
rsi:

Prival, Mathemat, боюсь вновь вызвать раздражение, но вынужден опять повторить - в котировках практически нет шума - это и есть входной сигнал. Вы пытаетесь использовать инструменты математической статистики (фильтрация - то же). Статистики чего? Статистика, законы распределения, их моменты разных порядков относятся к случайным величинам (процессам). Если вы получили тик, это - сигнал или шум? Утверждаю, что сигнал, т.к. по этим данным можно дать ордер на покупку или продажу, и он будет выполнен (при прочих общих условиях). Да, трудно предсказать каким будет следующее значение цены, поэтому хочется считать, что там есть случайная составляющая и неслучайная, которую можно выявить и затем эстраполировать-предсказать. А она не случайная, а просто неизвестная. Или, если угодно, вся случайная - без деления на аддитивные составляющие. Что вы собираетесь отделить? Тот же фильтр Калмана позволит отфильтровать вполне определённую составляющую - определённую заданной вами же моделью в виде гладкой аналитической функции. Вы её знаете? Я - нет. Вы пытаетесь выявить динамические свойства рынка, и применить физические аналогии - боюсь, что тоже бесперспективно: можно найти минутные свечи амплитудой больше фигуры, а также гэпы, что свидетельствует о его практической безинерционности.

Полностью поддерживаю, ни шума, ни случайной составляющей в котировках нет, есть искажения, которые вносят ДЦ своими фильтрами и задержками, есть потери информативности сигналов за счет связи и доисторическим методом формирования свечей. Что касается искажений ДЦ, с ними можно частично справиться, если строится адекватная модель, то она учтет в себе эти искажения, к сожалению, в этой ситуации под каждый ДЦ модель придется переучивать, универсальности не получается. Что касается потерь информативности, можно использовать тики которые поставляют информационные агенства Райтер и другие, вообщем это не является камнем преткновения, главное найти эффективную стратегию, все остальное - дело техники.
 
Prival:
NorthernWind:
Prival:
в остатках был шум, но не гаусовский. Странный какой то шум +-1 пипс и больше ничего, несколько редких выбросов 2-5 пипсов плюс 1 гэп был пунктов 40 (специально искал недельку с хорошим гэпом).

И я и Mathemat и ещё кто то этот шум видели на тиках. При чем, на тиках видно что у +-1 пипс вероятность обратного движения выше чем его продолжение. К сожалению эта закономерность внутри спреда. Да и невысокая она.

А вот то что она появилась после обработки - это интересно.

Вы анализировали returns, я видел все что вы выкладывали. По нескольку раз перечитывал. Я делал по другому. Брал все тики за неделю, удалял тренд y(x)=a*x+b. В остатках искал колебательный процесс. Вычислял АКФ. И с помощью Калмана удалял это колебание, и так до тех пор пока не получилось почти похожее, на ретурнс (практически оно и вышло). Я искал все составляющие процесса, хотел приблизительно оценить размерность модели (сколько значимых колебаний есть на неделе)

Нет идеального фильтра, этот "шум" +-1 пипс, это - искажения которые возникают при обработке, из-за того, что разрядность компьтера конечна, фильтр не идеален и т.д., это - не шум в исходном сигнале.
 
Piligrimm:
Нет идеального фильтра, этот "шум" +-1 пипс, это - искажения которые возникают при обработке, из-за того, что разрядность компьтера конечна, фильтр не идеален и т.д., это - не шум в исходном сигнале.


Я вроде про это и говорил. Это шумы измерения (шумы квантования и дискретизации) .

Что символизирует "ОМ" вселенский звук. Просветите.

 

Piligrimm, ты позволишь?

Это шум вселенной, который наши обычные чувства не пропускают через свои фильтры. И одновременно сигнал, который должен издавать практикующий, чтобы войти в стохастический духовный резонанс со вселенной. Шудко :)

 
Piligrimm:
Что касается потерь информативности, можно использовать тики которые поставляют информационные агенства Райтер и другие, вообщем это не является камнем преткновения...
:-)
 
Mathemat:
... Когда я говорю об ошибках, я обычно говорю об ошибках прогноза или приближения. Prival говорит об ошибках наблюдения и измерения. Это вполне естественно с точки зрения его специальности. Но это совсем другие ошибки. Тем не менее эта точка зрения имеет право на жизнь, хотя, на мой взгляд, она искусственна...

Совершенно согласен с тобой. По поводу ошибок измерения я добавил PS в своём предыдущем посте. А вот по поводу ошибок прогноза - это на мой взгляд и должно быть и предметом исследования, и критерием при принятии торговых решений, и той случайной величиной, к которой и надо прикладывать статистические методы и именно байссовский подход. А не к цене или returns - это годится для входа и то после предварительной обработки. Вероятности прогноза имеют право на существование, а всё что уже произошло имеет вероятность равную единице.

МТС необязательно реализовывать столь нелюбимыми Prival'oм нейросетями, но надо понять, что работают не фильтры (непонятно чего от чего отделяющие), а технологии DataMining, кластеризации и другие аналогичные современные технологии многомерного анализа данных (тут кажется Piligrimm упоминал МГУА), позволяющие выявлять во временных рядах скрытые закономерности.

Вообще у меня ощущение Левши, который пытается докричаться: "Англичане ружья кирпичом не чистя-а-а-а-т!" :-)

 
Prival:

С удовольствием бы помог. Но к сожалению не могу читать код MQL так же свободно как MathCad где формулы пишутся так как мы и привыкли видеть их в книгах. Единственное, что мне показалось (хотя я и не уверен) используется один из видов регрессии, что бы было понятнее

Есть линейная регрессия типа y(x)=ax+b. Можно коэффициенты а и b рассчитать разным способом, можно по МНК (вроде бы там не используется), а можно используя рекурсию, но что бы понять это надо четко разобраться в циклах (там я уже путаюсь, где, что, за чем вычисляется). Скорее всего там нелинейная регрессия, т.к. есть какие то if() при расчете + сам вид уравнения регрессии не понятен, сколько же там этих коэффициентов.

В принципе почти все индикаторы можно рассматривать как цифровые фильтры, та же обыкновенна МА, это цифровой фильтр. А слово адаптация обычно говорит о том что какие то параметры (коэффициенты в нутрии фильтра) должны меняться в зависимости от характеристик вх. сигнала. Поэтому в первую очередь к адаптивным цифровым фильтрам (ЦФ) я бы отнес АМА, FRAMA и им подобные (параметр усреднения (n), меняется в зависимости от оценки дисперсии входного процесса), почти все фильтры FFT, вейвлет у которых используется пороговая обработка (попытка согласовать параметры ЦФ со спектром входного полезного сигнала).

А вот SATL, FATL не являются адаптивными, т.к. 1 раз при проектировании были рассчитаны коэффициенты ЦФ, которые позволили согласовать переходную характеристику фильтра со спектром входного сигнала (АЧХ и ФЧХ), и в процессе работы эти коэффициенты не меняются. Это так называемые согласованные фильтры. Но есть идеал, то что называют в ЦОС оптимальный фильтр, построить его трудно, но возможно. Для этого необходимо знать спектры полезного сигнала и шума.

Не знаю помог чем либо или наоборот запутал :-), но в любом случае удачи.

Причина обращения: