От теории к практике - страница 73

Che555
704
Che555  

чем ско лучше чем сао (среднее абсолютное отклонение). может быть экстремумы откидывает... что-то там есть. 


посчитал отклонения от некоторой машки. ско вышло 12 пунктов. со вышло 6 пунктов.

интересно, о чем может говорить большая разница между ско и со. 
Che555
704
Che555  
Vladimir:

Зачем придираться, формула есть. СКО действительно применяется гораздо чаще, я бы сказал, несравнимо чаще. Прежде всего, из-за порождаемой методом наименьших квадратов (МНК) простоты и вычислительной эффективности. Вот простой пример. Пока я буду считать, что среднее у Вас такое же, как в МНК, арифметическое.

Есть много, очень много строк. Большая советская энциклопедия в электронном виде. Нужно подсчитать среднюю долю числа пробелов в строке, и какой-нибудь из показателей разброса этой доли, СКО или Ваше среднемодульное отклонение от этого среднего (кратко буду называть его Чеб, потом расскажу, почему). Каждый проход по всем строкам стоит дорого, книги находятся на разных Интернет ресурсах, связь модемная по медной паре. Так вот, для подсчета СКО хватит одного прохода (сразу копим число строк, сумму долей пробелов и сумму квадратов долей пробелов, из этих сумм считаем сразу СКО ), а для Чеб необходимы два (на первом копим число строк и сумму долей, по ним считаем среднее, на втором копим сумму абсолютных отклонений от среднего, по ней считаем отклонение Чеб). Разница в трудоемкости в 2 раза.

И так везде, куда ни кинь - везде клин, если нужно что-то сделать методами Чеб. Задача аппроксимации таблично заданной функции порождает совершенно разные затраты на решение. Самый простой случай, заменяем функцию константой. По МНК это среднее арифметическое, которое находится всем понятно как и за один проход по таблице значений. Приближение с минимизацией абсолютного отклонения называется равномерным приближением, или Чебышевским. По нему надо искать медианное среднее, именно оно обеспечивает минимум сумме абсолютных отклонений от какой-либо из констант. Подумайте, как вычислять медиану. В MQL есть для этого готовая функция. Что она делает - верно, сначала упорядочивает все элементы по возрастанию. А это совсем не то, что найти среднее арифметическое.

И так дальше. В то же время надо отдавать себе отчет в том, что МНК искажает нормальные представления о явлении. Например, о таком, как средний уровень заработной платы. Этим пользуются органы статистики, сообщая о средней зарплате. Если на предприятии 25 работников, из них 5 главных зарабатывают по миллиону, а остальные 20 по 50 тысяч, средняя арифметическая зарплата будет 6/25=240 тыс., а медианное среднее равно 50 тысяч.


о. точно. может в трейдинге медианное отклонение использовать...


а то я не вижу смысла в ско.

все значения отклонений взяли в квадрат. потом вычислили значение среднего отклонения в квадрате. потом опять взяли корень от него.

Vladimir
1093
Vladimir  
Максим Дмитриев:

чем ско лучше чем сао (среднее абсолютное отклонение). может быть экстремумы откидывает... что-то там есть. 


посчитал отклонения от машки. ско вышло 12 пунктов. со вышло 6 пунктов.

интересно, о чем может говорить большая разница между ско и со. 
О чувствительности СКО к выбросам. Ведь отклонения выбросов влияют в квадрате, что эквивалентно резкому увеличению их веса, если бы мы говорили о взвешенном усреднении.
Che555
704
Che555  
Vladimir:
О чувствительности СКО к выбросам. Ведь отклонения выбросов влияют в квадрате, что эквивалентно резкому увеличению их веса, если бы мы говорили о взвешенном усреднении.

действительно. наоборот, не откидывают, а повышают их вес! в этом плане ско хуже , чем сао.

почему же ее все взяли за эталон?

 
Che555
704
Che555  
Yuriy Asaulenko:

мы увидели)

сильное отклонение ско от сао может говорить о том, что выбросов много. или о том , что значение отклонеий очень разные, а не все почти одинаковые.


Yuriy Asaulenko
9264
Yuriy Asaulenko  
Максим Дмитриев:

действительно. наоборот, не откидывают, а повышают их вес!

Оч грубо говоря, вся статистика пошла от учета энергии или работы (теория газов). Что не совсем правильно, но сойдет.)

Средняя энергия тел будет Wср=(М*V1^2/2 + M*V2^2/2+...)/n. Т.е. тела, чтобы выполнить работу должны  обладать средней скоростью Vср=sqrt(Wср)/M. Формулы эквивалентны.

Средняя скорость вам абсолютно ничего не даст для таких вычислений.

Vladimir
1093
Vladimir  
Yuriy Asaulenko:

Где-то в начале темы Александр написал, что рынок самоподобен. Т.е. на разных временных масштабах имеет одинаковые свойства.

Для выяснения этого  обстоятельства взял несколько МА с существенно различающимися периодами, построил их на ТФ 1м, и относительно них посчитал распределения. Сделать это достаточно быстро можно в том-же R.

При самоподобии рынка распределения при масштабировании должны наложиться друг на друга. Выяснилось, что наложения не происходит, распределения существенно отличаются друг от друга, т.е. рынок не самоподобен.

Отсюда следует, что стратегии, работающие на разных временных масштабах невозможно переместить на другой путем масштабирования, и, наверно, в ряде случаев их вообще нельзя переместить.

Несамоподобие также подтверждает то, что стратегии, работающие на разных временных интервалах очень отличаются друг от друга по технике. Скажем, скальпинг, интрадей, кратко и среднесрочные стратегии, долгосрочные стратегии - все это оч. разные техники торговли.

Возможно все это тривиально, но я  раньше об этом не задумывался.

По данным темы, стратегия Александра - "редкие сделки, которые длятся часами", хотя достоверно мы этого не знаем, т.к. перед нами была только демо-версия.

Мои деятельность находится в другом временном масштабе торговли, а при отсутствии самоподобия рынка, это совсем другая техника. В общем, не мой сектор рынка.)

Иными словами: смешно давать советы торговцам Роллс-Ройсами, когда сам торгуешь квашеной капустой. Обратное, кстати, тоже верно.

Заинтересовал поднятый вами вопрос. Собственно, то, что наложения не происходит. Взял минутки EURUSD за два года и решил посмотреть зависимость числа отклонений N быстрой средней с периодом T1 минут от медленной с периодом T2 минут за общее время Tall в минутах от размера отклонений d в 4-разрядных пунктах 0.0001. Для средних T1 и T2 подсчитываем выборочные частоты попадания их разности в полуоткрытый дипазон [d-0.5, d+0.5) и относим эту частоту к d, обозначая ее N(d,T1,T2).
   Затем считаем сумму N(d,T1,T2) по всем встретившимся значениям d и делим N(d,T1,T2) на нее. Так получаем относительные выборочные частоты n(d,T1,T2), сумма которых для любой пары T1,T2 одинакова и равна 1.    Сравниваем не для двух пар (T1,T2) и (T3,T4), а сравним между собой отклонения средних Ti от курса, который является средней с периодом 0 минут, что сократит количество расчетов. Собственно, зададим сразу 5 периодов медленных средних:    T1 = 4     T2 = 16    T3 = 64    T4 = 256    T5 = 1024, охватывая периоды от 4 минут до 17 часов. Быстрой средней для этих 5 медленных служит одна, T0 = 0, сам курс. То есть собираем частоты N(d,Ti,0). Дальше лучше по рисунку. Для анализа сделана таблица в Excel (750 тыс. строк 94 Мб) https://yadi.sk/d/97QaopiK3QbTv9 (80 Мб), кто хочет - проверяйте, может, ошибся.



Рис. 1. Первичные выборочные частоты отклонений в диапазоне от -350 до +350 пунктов.

Видна симметрия, поэтому частоты для отклонений разного знака складываем, а логарифмизацию распространяем и на ось абсцисс. Также увеличиваем все частоты на 1, чтобы исключить беды с вычислением логарифмов. Получаем рис. 2. Подсчитав суммы выборочных частот, делим на них, и переходя тем самым к относительным частотам. Уже на рис. 2 видно, что кривые тяготеют к эквидистантности. Учтем еще размах колебаний каждой из скользящих SMA. Используем закон квадратного корня (ЗКК https://www.mql5.com/ru/forum/193378/page16#comment_5116118 формула (2), масштаб колебаний средней пропорционален корню из ее периода), поделим d на Ti^0.5. На следующем рис.3 кривые еще сблизились. Второй раз применяем ЗКК уже напрямую к самим колебаниям, их величина оказывается обратно пропорциональна квадрату частоты. На рис. 4 последний шаг приведения распределений к автомодельному виду сделан.

Скажите, Юрий, какое самоподобие Вы искали? Не то, что вышло у меня?





EUR_M1_2_Year_To_2017-02-04.zip
EUR_M1_2_Year_To_2017-02-04.zip
  • yadi.sk
View and download from Yandex.Disk
Maxim Dmitrievsky
30156
Maxim Dmitrievsky  
Vladimir:

крутяк, остается сделать маленький шажок для вас (с вашими умениями) и большой шаг для человечества:

определить в мелком временном цикле черты более крупного, формирующегося в этот же момент, с небольшим сдвигом для прогноза. И экстраполировать оставшуюся часть на цикл с другим периодом. Это и будет прогноз.

К слову, у меня не получилось но я пень в математике и делал через корреляцию и аффинное верчение циклов (похожие циклы могут существовать под разным углом), а там зависимости могут быть не такие ленийные. :)

Вернее, что-то получилось но результаты меня не устроили.. могу привести примеры кода и картинки

Che555
704
Che555  
Vladimir:

Заинтересовал поднятый вами вопрос. Собственно, то, что наложения не происходит. Взял минутки EURUSD за два года и решил посмотреть, как зависимость числа отклонений N быстрой средней с периодом T1 минут от медленной с периодом T2 минут за общее время Tall в минутах от размера отклонений d в 4-разрядных пунктах 0.0001. Для средних T1 и T2 подсчитываем выборочные частоты попадания их разности в полуоткрытый дипазон [d-0.5, d+0.5) и относим эту частоту к d, обозначая ее N(d,T1,T2).
   Затем считаем сумму N(d,T1,T2) по всем встретившимся значениям d и делим N(d,T1,T2) на нее. Так получаем относительные выборочные частоты n(d,T1,T2), сумма которых для любой пары T1,T2 одинакова и равна 1.    Сравниваем не для двух пар (T1,T2) и (T3,T4), а сравним между собой отклонения средних Ti от курса, который является средней с периодом 0 минут, что сократит количество расчетов. Собственно, зададим сразу 5 периодов медленных средних:    T1 = 4     T2 = 16    T3 = 64    T4 = 256    T5 = 1024, охватывая периоды от 4 минут до 17 часов. Быстрой средней для этих 5 медленных служит одна, T0 = 0, сам курс. То есть
собираем частоты N(d,Ti,0). Дальше лучше по рисунку. Для анализа сделана таблица в Excel (750 тыс. строк 94 Мб) https://yadi.sk/d/97QaopiK3QbTv9, (80 Мб)кто хочет - проверяйте, может и ошибся.



Рис. 1. Первичные выборочные частоты отклонений в диапазоне от -350 до +350 пунктов.

Видна симметрия, поэтому частоты для отклонений разного знака складываем, а логарифмизацию распространяем и на ось абсцисс. Также увеличиваем все частоты на 1, чтобы исключить беды с вычислением логарифмов. Получаем рис. 2. Подсчитав суммы выборочных частот, делим на них, и переходя тем самым к относительным частотам. Уже на рис. 2 видно, что кривые тяготеют к эквидистантности. Учтем еще размах колебаний каждой из скользящих SMA. Используем закон квадратного корня (ЗКК https://www.mql5.com/ru/forum/193378/page16#comment_5116118 формула (2), масштаб колебаний средней пропорционален корню из ее периода), поделим d на Ti^0.5. На следующем рис.3 кривые еще сблизились. Второй раз применяем ЗКК уже напрямую к самим колебаниям, их величина обратно пропорциональна частоте. На рис. 4 последний шаг приведения распределений к автомодельному виду сделан.

Скажите, Юрий, какое самоподобие Вы искали? Не то, что вышло у меня?


а если все это провести на графиках случайного блуждания с машками разного периода?

Che555
704
Che555  
Yuriy Asaulenko:

Где-то в начале темы Александр написал, что рынок самоподобен. Т.е. на разных временных масштабах имеет одинаковые свойства.

Для выяснения этого  обстоятельства взял несколько МА с существенно различающимися периодами, построил их на ТФ 1м, и относительно них посчитал распределения. Сделать это достаточно быстро можно в том-же R.

При самоподобии рынка распределения при масштабировании должны наложиться друг на друга. Выяснилось, что наложения не происходит, распределения существенно отличаются друг от друга, т.е. рынок не самоподобен.


можете дать картинки? как делать масштабирование?