Bayesian regression - Делал ли кто советник по этому алгоритму? - страница 17

 

Читая про работы Байеса в научно-популярных статьях встретил такую задачу.

"Предположим, что бочка содержит множество маленьких пластиковых яиц. Некоторые из них окрашены в красный, а некоторые в синий. 40% яиц содержат жемчужины, а 60% пусты. 30% яиц, содержащих жемчуг, окрашены в синий цвет, и 10% пустых яиц также синие. Какова вероятность того, что синее яйцо содержит жемчуг?"

На первый взгляд кажется, что вероятность небольшая, т.к только 30% содержащих жемчуг яиц- синие. На самом деле наоборот, вероятность того что синее содержит жемчуг равна 67% т.е в два раза больше вероятности, что не содержит. 

"40% яиц содержат жемчуг, и 30% из них синие, так что 12% яиц одновременно и содержат жемчуг и синие.
60% яиц не содержат жемчуг, и 10% из них синие, так что 6% яиц синие и не содержат жемчуг.
12% + 6% = 18%, так что всего доля синих яиц - 18%.
Мы уже знаем, что 12% яиц синие и содержат жемчуг, так что шанс того, что в синем яйце содержится жемчуг равен 12/18 или около 67%. "

Или по формуле Байеса :вероятность того, что синее яйцо содержит жемчуг  Р(А|B)=P(B|A)*P(A)/P(B)=0.4*0.3/0.18=0.67.

P(A)= p(жемчуг) = 0,4  вероятность того, что в яйце содержится жемчужина .
Р(В|A)=p(синее|жемчуг) = 0,3 вероятность что яйцо синее, если в нем есть жемчуг
P(B)=p(синее) = 0,18           вероятность что яйцо синее.

Заменил слова "бочка" на "график", синие яйца - медвежья свеча, красные яйца- бычья свеча, жемчуг- внутри бара более 70% приращений цены- положительные, или короче- много положительных приращений (МПП).

 Предположим, что графике красные свечи - бычьи, синие свечи медвежьи . 40% от всех свечей содержат МПП, а 60% нет. 30% свечей, содержащих МПП, медвежьи, и 18% от всех свечей также медвежьи.   Какова вероятность того, что медвежья свеча содержит МПП. 

Здесь, на первый взгляд, вероятнось ещё меньше: те же только 30% свечей, содержащих МПП, медвежьи, да и ещё сама свеча медвежья, и по идее должна содержать больше отрицательных приращений , чем положительных. Но по расчетам для данного случая получаются те же 67%.

Вероятность того, что медвежья свеча содержит МПП. Р(МПП|медвежья)=Р(МПП)*P(медвежья|МПП)/P(медвежья)=0.4*0,3/0,18=0.67

P(A) = p(МПП)=0,4  вероятность того, что в свече содержится МПП .
Р(В|A)=p(медвежья|МПП) = 0,3 вероятность что свеча медвежья, если в ней есть МПП
P(B)=p(медвежья) = 0,18           вероятность что свеча медвежья.

В данном случае, если  у свечи  большинство приращений положительные, то чтобы ей стать медвежьей, отрицательные приращения должны быть более длинными. Это справедливо при любом законе распределения приращений цены внутри свечи, или при отсутствии такового.

Вот ещё что вычитал:

"Психологические эксперименты[1] показали, что люди часто неверно оценивают вероятность события, на основе полученного опыта (апостериорная вероятность), поскольку игнорируют саму вероятность предположения (априорная вероятность). Поэтому правильный результат по формуле Байеса может сильно отличаться от интуитивно ожидаемого."

Вот понимаешь, как бывает.

Теорема Байеса — Википедия
  • ru.wikipedia.org
Теорема Байеса (или формула Байеса) — одна из основных теорем элементарной теории вероятностей, которая позволяет определить вероятность какого-либо события при условии, что произошло другое статистически взаимозависимое с ним событие. Другими словами, по формуле Байеса можно более точно пересчитать вероятность, взяв в расчет как ранее...
 
Yuri Evseenkov:

...

В данном случае, если  у свечи  большинство приращений положительные, то чтобы ей стать медвежьей, отрицательные приращения должны быть более длинными. Это справедливо при любом законе распределения приращений цены внутри свечи, или при отсутствии такового.

... 

Чтобы придти к такому выводы применялась теорема Байеса?

Неверное оценивание в задачах по вероятности еще может происходить от ненаглядного изложения условий задачи.

 
Yousufkhodja Sultonov:
Самый простой путь закрыть мне рот - это показать работу полиномальной модели на данном примере....
Опять? Пять лет назад же показывал))) Юсуф, покажу только за то, что угарали долго. Да (18) трудно забыть.

А сколько Решетов тебя подкалывал, а сколько адептов (18) в прогнозной ветке полегло...)))



 
Давно уже писал что рынок это система реагирующая на новости. Все эти рассужденияя о статистическом распределении цен, волатильности или ошибок регрессии бесполезны. Если взять поведение цен во времена выпуска новостей (и эти времена известны и регулярны) то получим одно распределение. Если выбрать времена ночных сессий, то получим другое распределение. Регрессия рыночных цен это тоже дело бесполезное. Хвост регрессии будет болтаться и зависить от поступающих цен. Используйте машки если нужно сгладить ценовой ряд. Экстраполяция регрессии это утопия. Цена это не камень который бросили и потом пытаются определить где он будет через какой-то промежуток времени. Применение алгоритмов отслеживания ракет тоже не работает. Хотя фокус на моменты выпуска новостей (внешние толчки) и отслеживание цены срзу после толчка это имеет смысл. Тут можно выявить закономерности и заработать. Но рассматривать весь ценовоя ряд как какое-то целое и говорить о его усреднённых характеристиках это ошибка и теоретический "опиум для народа".
 
Vladimir:
Давно уже писал что рынок это система реагирующая на новости. Все эти рассужденияя о статистическом распределении цен, волатильности или ошибок регрессии бесполезны. Если взять поведение цен во времена выпуска новостей (и эти времена известны и регулярны) то получим одно распределение. Если выбрать времена ночных сессий, то получим другое распределение. Регрессия рыночных цен это тоже дело бесполезное. Хвост регрессии будет болтаться и зависить от поступающих цен. Используйте машки если нужно сгладить ценовой ряд. Экстраполяция регрессии это утопия. Цена это не камень который бросили и потом пытаются определить где он будет через какой-то промежуток времени. Применение алгоритмов отслеживания ракет тоже не работает. Хотя фокус на моменты выпуска новостей (внешние толчки) и отслеживание цены срзу после толчка это имеет смысл. Тут можно выявить закономерности и заработать. Но рассматривать весь ценовоя ряд как какое-то целое и говорить о его усреднённых характеристиках это ошибка и теоретический "опиум для народа".

Помню, Вы хотели найти достойный алгоритм проверки влияния определенных новостей на рынки, удалось его найти?

Моё мнение по новостям такое - только очень важная и нежданная новость меняет направление рынка и логику поведения цены не поддающуюся описанию правилами технического анализа. Во всех остальных случаях новость может влиять на движение цены, но само движение происходит технично и понятно. 

 
-Aleks-:

Помню, Вы хотели найти достойный алгоритм проверки влияния определенных новостей на рынки, удалось его найти?

Моё мнение по новостям такое - только очень важная и нежданная новость меняет направление рынка и логику поведения цены не поддающуюся описанию правилами технического анализа. Во всех остальных случаях новость может влиять на движение цены, но само движение происходит технично и понятно. 

Алгоритм довольно простой: ждём выпуска новостей (не все новости важны), смотрим на направление движения цены во время выпуска новости, если движение значительно и поведение цены до выпуска новости удовлетворяет определённым условиям, то ожидаем продолжения движения в том же направлении, входим в позицию и быстронько выходим при удовлетворении одного из множества условий закрытия. Я написал советник в 2011 году, готов был запустить его на реале, но многие форексные конторы в США позакрывались, даже Альпари. Сейчас откопал советник, загрузил новоую историю, без оптимизации прогнал его с 1 января 2012 года, за 2012 год результат довольно хороший: $200 выросло в $311, profit factor 3.60, recovery factor 5.64, balance drawdown 4.46%, equity drawdown 6.05%, trades won 71.43%. Начиная с 2013 года, еквити идёт вниз. Может времена выпуска новостей поменялись, может переоптимизация нужна, разбираться неохота. Но тот факт что советник работал 1 год после оптимизации с 50% годовой прибылью это говорит о робастности стратегии.
 
Dmitry Fedoseev:

Чтобы придти к такому выводы применялась теорема Байеса?

Неверное оценивание в задачах по вероятности еще может происходить от ненаглядного изложения условий задачи.

К такому выводу в данном примере можно прийти и чисто логически. Но на мой взгляд, формула Байеса здесь применена правильно. Хотя не могу за это поручится, т.к изучаю вопрос по статьям для "чайников".

http://baguzin.ru/wp/wp-content/uploads/2013/09/%D0%98%D0%BD%D1%82%D1%83%D0%B8%D1%82%D0%B8%D0%B2%D0%BD%D0%BE%D0%B5-%D0%BE%D0%B1%D1%8A%D1%8F%D1%81%D0%BD%D0%B5%D0%BD%D0%B8%D0%B5-%D1%82%D0%B5%D0%BE%D1%80%D0%B5%D0%BC%D1%8B-%D0%91%D0%B0%D0%B9%D0%B5%D1%81%D0%B0.pdf 

 
Vladimir:
Давно уже писал что рынок это система реагирующая на новости. Все эти рассужденияя о статистическом распределении цен, волатильности или ошибок регрессии бесполезны. Если взять поведение цен во времена выпуска новостей (и эти времена известны и регулярны) то получим одно распределение. Если выбрать времена ночных сессий, то получим другое распределение. Регрессия рыночных цен это тоже дело бесполезное. Хвост регрессии будет болтаться и зависить от поступающих цен. Используйте машки если нужно сгладить ценовой ряд. Экстраполяция регрессии это утопия. Цена это не камень который бросили и потом пытаются определить где он будет через какой-то промежуток времени. Применение алгоритмов отслеживания ракет тоже не работает. Хотя фокус на моменты выпуска новостей (внешние толчки) и отслеживание цены срзу после толчка это имеет смысл. Тут можно выявить закономерности и заработать. Но рассматривать весь ценовоя ряд как какое-то целое и говорить о его усреднённых характеристиках это ошибка и теоретический "опиум для народа".
А как же Ваши работы: Экстраполяция цен методом Фурье , Авторегрессивная модель (AR) экстраполяции цен , Наклон линейной регрессии и другие?
Vladimir:
  Я написал советник в 2011 году, готов был запустить его на реале, но многие форексные конторы в США позакрывались, даже Альпари.
Знаю что  закон Додда-Франка запрещает гражданам и компаниям США проведение большинства операций на внебиржевом рынке ( в т.ч. Форекс).  Позвольте вопрос. А как рядовой американец покупает/продаёт немножко Apple?  Cмотрю сериал "Друзья", так там рядовая массажистка Фиби не только торговала акциями, но и стала стала управляющей, спустила активы клиентов....
 

Господи!

Когда же Вы все начнете читать книги? 

Ведь известно, что известно и известно, что не известно!

Надо просто сесть и прочитать!

1. Для начала просто стараемся понимать слова которые произносим:

технический АНАЛИЗ.

Анализ, а есть еще слово прогноз - эти слова имеют разное значение и не являются синонимами. Людей, владеющих техническим анализом, называют чартистами, т.е. графистами, людьми, рисующими графики. Ничего более. Эксплуатируется свойство человеческой психики воспринимать информацию в графическом виде лучше чем в цифровом. Не более того. Правда, встречаются люди, очень редко встречаются, которые долго смотрят на нарисованный графики, лет 3-5, принимают решения на реале и в конце концов торгуют прибыльно. Каждый, кто читает эти строки относит себя к этой категории людей?

2. О том, что регрессии нельзя применять на финансовых рынках знали лет 100 назад. Но этих людей задушил Марковиц в 1952, изобретя теорию портфеля. Он дал математический аппарат, который позволял балансировать прибыльность и риск. Даже нобеля получил 1992 году, несмотря 1987 год, когда все портфели рухнули как и теория Марковица.

Все вспомнили публикации середины 1960 годов Мандельброта и интенсивно стали тыкать пальцем в хвосты распределений, так как события 1987 года практически невероятное событие, а оно произошло, что и предсказывал Мандельброт до печалей 1987 года за 20 лет до этого.

Тут вспомнили других людей - Бокса-Дженкинса, которые лет 15 до краха 1987 года предложили модель.

3. Модель ARIMA. Авторы модели утверждали, что исходными котировками пользоваться нельзя, а надо пользоваться приращениями цен. Так избавились от трендов. Дали модель и методику ее построения. В Правительстве США применят до сих пор. Имеется в открытом доступе.

4. Практически сразу ушлые люди заметили, что ARIMA - это работоспособная модель, но в очень узкой части финансовых рынков. И сформулировали: надо учитывать изменения дисперсии - это разнообразные модели ARCH. Эти модели позволили расширить область применения матметодов.

5. Практически одновременно с этим Гренджер изобрел свою модель коинтеграции, тоже получил нобиля. Он заявил, что ARMA, ARIMA, ARCH, GARCH и прочая прочая - это все не то, а можно так совокупить два актива, что получим стационарный результат, а раз так, то начинают прекрасно работать все методы статистики, включая регрессии и соответствующие анализы и прогнозы. И это реально работает.

6. А затем 1998 год, а затем 2007 - все это заставило вспомнить о сомнительности идеи стационарности финансовых рядов как о сомнительности методов приведения этих финансовых рядов к стационарному виду.

Стали подниматься идеи искусственного интеллекта в виде машинного обучения, в которых утверждается, что по совокупности значений входных переменных (предикторов) можно предсказать значение (регрессионные методы) или направление (методы классификации) целевой переменной. В случае классификации: можно предсказать переменную, которая принимает два значения: купить и продать. Для любителей ТА: что-то вроде торговли по паттернам, только модель учат распознавать паттерны и имеется статистика.

 

ПС.

Место байесовых моделей на финансовых рынках давно и точно определено - не применимо.

 

ПСПС

Есть афоризм: правильные модели не существуют - есть полезные модели.

А полезность определяется исключительно тем, что модель применяется только к тем данным, к которым ее МОЖНО применить. 

 
СанСаныч Фоменко:

...

Ждем с нетерпением появления кода АРИМы в кодабазе.
Причина обращения: