Обсуждение статьи "Архитектура системы машинного обучения в MetaTrader 5 (Часть 1): Утечка данных и исправление меток времени"

[MetaQuotes]

Опубликована статья Архитектура системы машинного обучения в MetaTrader 5 (Часть 1): Утечка данных и исправление меток времени:

Прежде чем мы сможем даже начать использовать машинное обучение в нашей торговле на MetaTrader 5, крайне важно разобраться с одной из самых недооцененных ловушек — утечкой данных. Эта статья раскрывает, как утечка данных, в частности ловушка с временными метками в MetaTrader 5, может исказить производительность нашей модели и привести к ненадежным торговым сигналам. Углубляясь в механику этой проблемы и предлагая стратегии ее предотвращения, мы прокладываем путь к созданию надежных моделей машинного обучения, которые будут давать достоверные прогнозы в условиях реальной торговли.

Подсматривание данных или утечка данных могут показаться чем-то незначительным, но их влияние на модели машинного обучения может быть колоссальным и разрушительным. Представьте, что вы готовитесь к экзамену, нечаянно  подсмотрев ответы заранее. Ваш отличный результат кажется заслуженным, но на самом деле это обман. Именно это происходит, когда мы используем временные метки MetaTrader 5 по умолчанию в машинном обучении — утечка данных неожиданно разрушает целостность вашей модели.

Как временные метки MetaTrader 5 вводят вас в заблуждение

MetaTrader 5 маркирует 5-минутный бар, начинающийся в 18:55, то есть 2-й последний бар сверху, как:

Время	Open	High	Low	Close
2 Apr 18:55	1.08718	1.08724	1.08668	1.08670

Отмечая время в начале, MetaTrader 5 подразумевает, что данные этого бара были доступны в 18:55:00 -за целых 5 минут до его фактического закрытия! Если ваша модель использует это в обучении, это все равно что дать студенту ответы на экзамен за 5 минут до начала тестирования. Чтобы противостоять этому, мы должны избегать использования предварительно скомпилированных временных баров MetaTrader 5, а вместо этого использовать тиковые данные для создания баров, которые мы используем в наших моделях.

Автор: Patrick Murimi Njoroge

[Stanislav Korotky]

Бары, ориентированные на активность, не решают всех проблем, которые вы упомянули для временных баров. Например, вы написали:

The Subtle Intra-Bar Leakage: However, a more subtle form of data leakage can still occur within the very formation of that time bar. If a significant event transpires midway through a 1-minute bar (e.g., at 09:00:35), any features derived from that bar (such as its high price or a flag for the event) will inevitably incorporate this information by the bar's end.

Если вы строите пользовательские бары равного объема, равного диапазона или другие тиковые бары, вы все равно пометите такой бар одной меткой, и он будет сливать (точнее, размывать) информацию о высокой цене по всему бару.

Единственный способ решить эту проблему - строить "бары" с учетом специфических особенностей (которые вы собираетесь использовать). Например, если основными характеристиками являются максимумы или минимумы, стоит попробовать, возможно, зигзагообразные "бары" с экстремумами, отмеченными точным временем.

На самом деле, подход с постоянными таймфреймами, да еще и ограничивающий их М1, проблематичен в контексте утечки данных в МТ5. Маркировать бары М1 временем окончания не намного лучше, чем временем начала, имхо.

Для тех, кто интересуется построением пользовательских баров (графиков) нативно в MT5, есть статья с реализацией на MQL5 баров equal-volume, equal-range и renko. Разумеется, в открытом коде можно пометить бары с временем окончания.

[Patrick Murimi Njoroge]

Stanislav Korotky #:

Бары, ориентированные на активность, не решают всех проблем, которые вы упомянули для временных баров. Например, вы написали:

Если вы строите пользовательские бары равного объема, равного диапазона или другие тиковые бары, вы в любом случае пометите такой бар одной меткой, и он будет сливать (точнее, размывать) информацию о высокой цене по всему бару.

Единственный способ решить эту проблему - строить "бары" с учетом специфических особенностей (которые вы собираетесь использовать). Например, если основными характеристиками являются максимумы или минимумы, то стоит попробовать, возможно, зигзагообразные "бары" с экстремумами, отмеченными точным временем.

На самом деле, подход с постоянными таймфреймами, да еще и ограничивающий их М1, проблематичен в контексте утечки данных в МТ5. Маркировать бары М1 временем окончания не намного лучше, чем временем начала, имхо.

Для тех, кто интересуется построением пользовательских баров (графиков) нативно в MT5, есть статья с реализацией на MQL5 баров equal-volume, equal-range и renko. Разумеется, в открытом коде можно пометить бары с временем окончания.

Бары, управляемые активностью, направлены на улучшение статистических свойств информации, содержащейся в барах, например, уменьшение гетероскедастичности и улучшение нормальности. Предложенное мной решение проблемы тонкой внутрибарной утечки заключается в маркировке баров с помощью времени их окончания, так что все события, происходящие внутри бара, отражаются в метке времени. Полезный пример - использование в обучении модели характеристик, полученных из временной метки, таких как преобразования Фурье. Если вы используете соглашение MetaTrader5, в котором бары маркируются по началу периода, то вы дезинформируете свою модель. Это различие может не иметь большого значения для некоторых моделей, но оно оказывает огромное влияние на те, которые нацелены на использование циклической природы рынков. Надеюсь, я прояснил свои намерения.

[Patrick Murimi Njoroge]

Stanislav Korotky #:

Бары, основанные на активности, не решают всех проблем, которые вы упомянули для временных баров. Например, вы написали:

Если вы создаете бары того же объема, диапазона или другие тиковые пользовательские бары, вы в любом случае будете помечать такой бар одной меткой, и информация о максимальной цене будет просачиваться (точнее, размываться) по всему бару.

Единственный способ решить эту проблему - создавать "бары" с учетом специфических особенностей (которые вы будете использовать). Например, если основными характеристиками являются максимумы или минимумы, попробуйте создать "зигзагообразный бар" с экстремумами, отмеченными точно по времени.

Подход с постоянным таймфреймом, и в частности ограничение M1, проблематичен в контексте утечки данных MT5. Маркировка баров М1 временем окончания имхо не намного лучше, чем временем начала.

Для тех, кто интересуется созданием пользовательских баров (графиков) нативно в MT5, есть статья с MQL5-реализацией баров Equal Volume, Equal Range и Renko. Разумеется, в открытом коде можно пометить бары временем окончания.

Что вы имеете в виду, когда говорите: "Если вы создаете бары с одинаковым объемом, диапазоном или другие тиковые пользовательские бары, вы в любом случае будете помечать такой бар одной меткой, и информация о максимальной цене будет просачиваться (точнее, размываться) по всему бару"?

[Stanislav Korotky]

Patrick Murimi Njoroge #:

Что вы имеете в виду, когда говорите: "Если вы создаете бары с одинаковым объемом, диапазоном или другие пользовательские бары на основе тиков, вы все равно будете помечать такой бар одной меткой, и информация о максимальной цене будет просачиваться (или, точнее, размываться) по всему бару"?

Я не понимаю, что тут непонятного. Мое высказывание было прямым ответом на ваше высказывание, процитированное в моем предыдущем посте - так что вы можете видеть контекст. Независимо от того, как вы формируете бары, каждому свойству бара приписывается одна временная метка, и фактическое "событие" для свойства не совпадает с этим временем.

[Patrick Murimi Njoroge]

Stanislav Korotky # :
Я не понимаю, что тут непонятного. Мое предложение - прямой ответ на ваше предложение, которое я процитировал в предыдущем посте. Независимо от того, как вы формируете бар, все свойства бара приписываются одной временной метке, а фактические "события" свойств не совпадают с этим временем. время.

Теперь я понимаю значение слова blur.

[Patrick Murimi Njoroge]

Patrick Murimi Njoroge #:

Теперь я понимаю, что такое размытость.

В моем исправлении имеется в виду, что пользователь будет обучать модели с тройной барьерной маркировкой. Сложность предотвращения вышеупомянутого размытия, на мой взгляд, выше, чем информация, получаемая при таком подходе. Тем не менее, я собираюсь провести несколько экспериментов с учетом этого. Если у вас есть уже проведенные эксперименты, я буду признателен, если вы поделитесь своими результатами и постановкой эксперимента.

[Patrick Murimi Njoroge]

Patrick Murimi Njoroge #:

Теперь я понимаю, что такое размытость.

Вы правы, что внутрибаровое размытие не решается барами, основанными на активности. Когда долларовый бар закрывается, его функция high отражает цену, которая появилась на каком-то более раннем тике внутри этого бара. Временная метка бара верна, но временное происхождение функции теряется. Ни один тип бара - временной, тиковый, объемный, долларовый или дисбалансный - не устраняет эту проблему, поскольку агрегирование - это сам механизм построения бара. Зигзагообразный бар решает эту проблему для хай/лоу конкретно, по своей конструкции: экстремум всегда находится на закрытии. Это реальное преимущество для стратегий, основной характеристикой которых является экстремум цены.

Где я бы возразил, так это на смешении размытости с предвзятостью. Это две разные проблемы. Предвзятое отношение означает, что метка строится на основе информации, датируемой временем, прикрепленным к наблюдению - модель тренируется на будущее. Бары, основанные на активности, решают эту проблему: временная метка - это момент, когда набор информации бара является полным, поэтому ни одна метка не видит дальше нее. Внутриполосное размытие означает, что признак агрегируется во времени без регистрации того, когда в полосе появился каждый компонент. Это снижает разрешение, но не приводит к тому, что модель не видит будущего. Бар M1 с неправильной временной меткой и бар доллара с правильной временной меткой оба размывают свои характеристики - но только один из них вызывает смещение взгляда вперед.

О маркировке M1 по времени окончания и времени начала: Я бы не сказал, что end-time лишь незначительно лучше. Она устраняет специфическую ловушку, описанную в первой части этой серии, когда временные метки MetaTrader 5 по умолчанию подразумевают наличие информации за пять минут до закрытия бара. Это конкретный, измеримый источник завышенной производительности бэктестов, а не косметическое исправление. Решите ли вы дополнительно проблему внутрибарного размытия - это отдельный вопрос.

Ваше более широкое замечание - о том, что в статье недостаточно четко разграничивается то, что решает выборка на основе активности, и то, что она не решает - справедливо. В будущей версии следует четко указать, что теоретически полным ответом на проблему размытия является разработка характеристик тика за тиком, а не выборка баров, но ценой значительно большей сложности данных и моделирования. Я добавлю это уточнение в заключение. В настоящее время я оптимизирую репозиторий для этой серии, но в ближайшее время я также отредактирую подобные ошибки.

[Johanny Perin Tankeu Tenembot]

Очень интересная точка зрения. Однако меня заинтересовал один возможный компромисс.

Временные бары могут содержать информацию, связанную непосредственно с календарным временем: повторяющиеся закономерности в определённые часы, торговые сессии, публикации экономических данных или конкретные дни недели. Эти временные эффекты могут быть тем, чему модель машинного обучения действительно способна научиться.

В случае тиковых баров наблюдаемые значения характеризуются более равномерной активностью, но промежуток времени между барами становится переменным. Поэтому мне интересно, не потеряем ли мы часть информации, связанной со временем наступления того или иного рыночного события, при переходе от временных баров к тиковым.

Не стоило бы, возможно, учитывать оба измерения — бары, ориентированные на активность, для отбора данных о рыночной активности, при этом сохраняя информацию о календарном времени в качестве дополнительной характеристики?

Возможно, я что-то упускаю, поэтому мне было бы очень интересно услышать точку зрения автора по этому поводу.

[Patrick Murimi Njoroge]

Johanny Perin Tankeu Tenembot модель машинного обучения действительно сможет научиться.

В случае тиковых баров наблюдения демонстрируют более равномерный уровень активности, но промежуток времени между барами становится переменным. Поэтому мне интересно, не потеряем ли мы при переходе с временных баров на тиковые бары часть информации, связанной со временем наступления того или иного рыночного события.

Не было бы, возможно, целесообразно учитывать оба измерения — бары, ориентированные на активность, для отражения рыночной активности, при этом сохраняя информацию о календарном времени в качестве дополнительной характеристики?

Возможно, я что-то упускаю, поэтому мне было бы очень интересно узнать точку зрения автора по этому вопросу.

Вы правы, замечая эту дихотомию. Если я моделирую структурные разрывы, временные бары не несут информационной ценности, особенно при анализе нескольких временных интервалов. Однако если я моделирую волатильность или направленное движение, тиковые, долларовые и другие бары обладают статистическими свойствами, которые лучше подходят для надежных прогнозов. В реальных производственных целях у вас, как правило, будут некоторые признаки, зависящие от входной модели, такие как HMM или LSTM, но вам необходимо решить, какая именно информация приносит пользу этим моделям.

Мне нравится учить людей, какие инструменты они могут использовать, а не тому, что с ними делать, потому что только переосмыслив то, чему вы научились, вы сможете действительно применить эти знания на практике.