Будет ли хорошая стратегия работать на случайно сгенерированных данных? - страница 11

 

По идеи, если взять котировки многих известных контор и сравнить с помощью предложенного метода, то можно понять, кто использует одинаковых поставщиков, сгруппировать их. Если у всех расхождение будут, значит цена подвергается постобработке перед ретрансляцией клиентам ДЦ. У меня нет больше доступа к другим ДЦ - инициатива от читателей приветствуется.

Можно сюда скидывать минутные бары с 2006 года своих ДЦ для EURUSD, а я обработаю их скриптом. Или на файлообменник, и выкладывать ссылку для скачивания.

 
Aleksey Vyazmikin #:

Я думаю, можно использовать, но через призму относительности, а не как абсолютное значение, особенно на большой истории.

когда всё верно, то правило про отклонение ~sqrt(V) очень чётко соблюдается. Можно прямо параболы строить, учитывать в рисках и всё великолепно 

 
Будет ли хорошая стратегия работать на случайно сгенерированных данных?


Ответ чисто субъективный:

Случайно сгенерированные данные могут иметь свои закономерности. Например, если у них есть цель - симуляция определённого процесса. 

То есть, если цель - симуляция графика цены, то у нас появляются технические статистические закономерности, а именно: средняя волатильность определённого периода. Отсюда - зависимость "рисунка" цены от этой волатильности. Например, если цена равна 1.00000, то следующая цена в среднем будет на 1-2-3-10-20 пунктов выше/ниже этой цены. 
Это - симуляция графика, и после 1.00000 цена не может стать 99999.99999. А через тик 658.97783, ещё через тик 0.00039. 
Нет, начиная с наименьшего деления все остальные ТФ отныне ждут своей очереди, когда цена дойдёт до их границ. 

Это технический рисунок цены. И, в таких условиях, можно нарисовать несуществующий график. В итоге, имея одну техническую статистическую закономерность в виде средней волатильности, рабочая стратегия, которая "ждёт" лучшей цены или лучшего "паттерна", своей граальностью будет обязана одному фактору, на который редко обращают внимание - ожиданию. 
Сидеть на заборе - это один из ключевых элементов хорошей стратегии, которую практикуют все успешные трейдеры. И, если стратегия работает на графике существующей цены, имеющей такие ограничения, то она будет работать и на несуществующем графике, имеющем такие ограничения. Просто будет также ждать лучшей цены. 


А если никакой симуляции нет, и значения будут появляться в любом рандомном порядке (0.00001, 438247.84344, 5.88500, 358.85858), то чисто технически правила торговли никогда не смогут "обуздать" такой график рандомных значений. 


UPD

Это, кстати, говорит о том, что можно нагенерировать огромное множество цен (датасет) для обучения нейросетей, не боясь, что сгенерированный график - это что-то плохое. Наоборот, НС должна будет учитывать все средние показатели и на их основе что-то искать. 
 
Ivan Butko #:
Это, кстати, говорит о том, что можно нагенерировать огромное множество цен (датасет) для обучения нейросетей, не боясь, что сгенерированный график - это что-то плохое. Наоборот, НС должна будет учитывать все средние показатели и на их основе что-то искать. 

полностью согласен. Имитатор что-то да имитирует, и на этом чем-то будут работать стратегии. 

это помимо того что на любом отрезке вообще случайных данных можно найти циклы, псевдо-закономерности и прочая-прочая. И к ним можно приоптимизировать или обучить стратегию. И гадкий рандом может дать ей шанс работать какое-то время ещё (а может не дать) и не провалит форвард

лучшее применение имитатора - правдоподобно сымитировать то чего ещё не было, но вполне может случится. Например цены давно стабильно идут вверх, и неплохо-бы проверить стратегию на устойчивость при развороте или волатильности. А подобный момент был очень давно и с меньшими ценами, уже всё не так.

 
Andrey Dik #:

Я читаю. И десятки тысяч других пользователей mql5.com читают. Не ждите быстрой реакции, пишущих на форуме менее 0.01%, и 50% из них конченные троли.

есть такое.))

т.е., тех, кто хотел хетел бы что-то написать надо поделить минимум на 2.)

Прямо в точку!

 

Вот что получается, для наглядности, получили тем или иным методом торговую систему, некую модель на данных MQ с 2010 по 2018 год, смотрим работает и на свежих данных - ну чудеса, думаете.

А теперь проверяем её на ДЦ RF, и что же видим - беда - беда - огорчение!


Если кратко о стратегии, то она работает на пробой дневной волатильности (аналог ATR) за 3 прошлых дня - при превышении уровня 23,6 от открытия дня - входим (или нет - как решит модель) в рынок.

Ясно, что она сильно зависит от цены открытия дня изначально, но она использует разные индикаторы для принятия решения, а они считаются сплошником за окно, а это значит, что на разных чартах они будут показывать несколько разное значение, что запутает модель.

Я решил посмотреть, как по часам происходит расхождение  на чартах от двух ДЦ (MQ vs RF) между максимумом и минимум минутных баров с разбивкой по годам. Сделал гифки - может так понятней.

На первом виде графика число регистраций событий, когда расхождения больше или равно одному пункту

На втором виде графика уже сами накопленные пункты по часам за год, когда расхождения больше или равно одному пункту.


Только с 2017 года появляется какая то логика, и расхождения скапливаются в первые два часа и последний час, есть и посреди дня отклонения, но значительно меньше. А вот 2024 год пока несколько отличается по распределению, хотя само по себе накопление не значительное.

Вот такое объяснение, почему на одних данных ТС работает, а на других нет, в то время как на глаз они весьма похожи.

Я понимаю, что Forex по умолчанию не централизованный рынок, что есть разные поставщики ликвидности, но тогда получается, что мы априори имеем дело с зашумлёнными данными. А раз данные подвержены таким искажениям, то вижу такие варианты:

  1.  Очистка от шума - пробовал округление оказалось не очень эффективно - надо думать дальше.
  2.  Генерация больше шума - кажется, что это проще сделать.

Отсюда следует, что применение на необработанных данных методов поиска закономерностей с помощью индикаторов (иных предикторов) со средними окнами расчета будет приводить к нестабильности в работе на новых данных. Большие окна, должны, в теории, сглаживать эти расхождения, но они будут сильней запаздывать и не позволять находить точные входы.

Удивляет, что такая простая стратегия, как я описал выше, со входом до 1-3 раза в день оказывается нестабильной. Думаю, может попробовать сместить начало дня на пару часов для расчета уровней...

Неужели такой был простой арбитраж между разными ДЦ в прошлые года? Или всё же кривые данные у кого то...

 
Aleksey Vyazmikin #:

Вот что получается, для наглядности, получили тем или иным методом торговую систему, некую модель на данных MQ с 2010 по 2018 год, смотрим работает и на свежих данных - ну чудеса, думаете.

А теперь проверяем её на ДЦ RF, и что же видим - беда - беда - огорчение!


Если кратко о стратегии, то она работает на пробой дневной волатильности (аналог ATR) за 3 прошлых дня - при превышении уровня 23,6 от открытия дня - входим (или нет - как решит модель) в рынок.

Ясно, что она сильно зависит от цены открытия дня изначально, но она использует разные индикаторы для принятия решения, а они считаются сплошником за окно, а это значит, что на разных чартах они будут показывать несколько разное значение, что запутает модель.

Я решил посмотреть, как по часам происходит расхождение  на чартах от двух ДЦ (MQ vs RF) между максимумом и минимум минутных баров с разбивкой по годам. Сделал гифки - может так понятней.

На первом виде графика число регистраций событий, когда расхождения больше или равно одному пункту

На втором виде графика уже сами накопленные пункты по часам за год, когда расхождения больше или равно одному пункту.


Только с 2017 года появляется какая то логика, и расхождения скапливаются в первые два часа и последний час, есть и посреди дня отклонения, но значительно меньше. А вот 2024 год пока несколько отличается по распределению, хотя само по себе накопление не значительное.

Вот такое объяснение, почему на одних данных ТС работает, а на других нет, в то время как на глаз они весьма похожи.

Я понимаю, что Forex по умолчанию не централизованный рынок, что есть разные поставщики ликвидности, но тогда получается, что мы априори имеем дело с зашумлёнными данными. А раз данные подвержены таким искажениям, то вижу такие варианты:

  1.  Очистка от шума - пробовал округление оказалось не очень эффективно - надо думать дальше.
  2.  Генерация больше шума - кажется, что это проще сделать.

Отсюда следует, что применение на необработанных данных методов поиска закономерностей с помощью индикаторов (иных предикторов) со средними окнами расчета будет приводить к нестабильности в работе на новых данных. Большие окна, должны, в теории, сглаживать эти расхождения, но они будут сильней запаздывать и не позволять находить точные входы.

Удивляет, что такая простая стратегия, как я описал выше, со входом до 1-3 раза в день оказывается нестабильной. Думаю, может попробовать сместить начало дня на пару часов для расчета уровней...

Неужели такой был простой арбитраж между разными ДЦ в прошлые года? Или всё же кривые данные у кого то...

а с часовым поясом там всё нормально ?

совпадает у RF и MQ ??

 
Maxim Kuznetsov #:

а с часовым поясом там всё нормально ?

совпадает у RF и MQ ??

Совпадают. Я вроде с 2014 года с ними, и уже совпадали тогда. Но, я то ж думал, может чего в этом направлении за прошлые года напутано, но не похоже пока...

 
Aleksey Vyazmikin #:

Совпадают. Я вроде с 2014 года с ними, и уже совпадали тогда. Но, я то ж думал, может чего в этом направлении за прошлые года напутано, но не похоже пока...

пропущенные M1 ещё могут натягивать.

в сутках конечно 1440 минут, но в торговом дне совсем не всегда. И чем ближе к реальности тем чаще пропуски

 
Maxim Kuznetsov #:

пропущенные M1 ещё могут натягивать.

в сутках конечно 1440 минут, но в торговом дне совсем не всегда. И чем ближе к реальности тем чаще пропуски

Если нет бара на двух чартах с одинаковым временем, то нет расчета по нему.