Форма ценового ряда: Введение в топологический анализ данных и вложение Такенса в MQL5
Содержание
- Введение: почему форма имеет значение
- Облако точек на графике
- Топология, а не геометрия
- Теорема Такенса о вложении
- Реализация: CTDAPointCloud
- Реализация: CTDADistance
- Шаблон EnsureCapacity
- Пример: вложение окна данных текущего графика
- Что дальше?
- Заключение
Введение: почему форма имеет значение
Скользящие средние отражают уровень цены. RSI отражает положение цены в диапазоне. Полосы Боллинджера отражают волатильность. Ни один из них не видит формы.
Рассмотрим два часовых окна по паре EURUSD. В первом окне цена постепенно растёт небольшими шагами с возвратом к среднему. Во втором случае цена колеблется вокруг неизменного среднего значения. Эти два окна можно подобрать так, чтобы они совпадали практически по всем показателям, видимым на обычном графике. Средняя цена закрытия: совпадает с точностью до пипса. Средний диапазон: тот же. Реализованная волатильность: та же. Количество баров выше скользящей средней: то же. Трейдер, который видит только эти цифры, не сможет отличить одно окно от другого. Однако геометрия движения цены с учётом её предшествующих значений совершенно иная.
| Показатель | Трендовое окно | Окно с боковым движением |
|---|---|---|
| Средняя цена закрытия | 1,08423 | 1,08423 |
| Средний диапазон бара | 9,7 пипса | 9,7 пипса |
| Стандартное отклонение цены закрытия | 0,00042 | 0,00042 |
| Бары выше SMA(20) | 41 | 40 |
| Форма траектории в фазовом пространстве | Удлиненная дуга | Замкнутая петля |
В каждой строке таблицы выше, кроме последней, приведен показатель, который может отслеживать стандартный индикатор. Последняя же строка отражает аспект, который раскрывается в остальной части статьи.
Топологический анализ данных (TDA) ставит иные вопросы о временном ряде. Он сосредоточен на форме траектории и её устойчивости к возмущениям. Ответ представляется в виде небольшого набора пар «рождение — смерть», называемого диаграммой персистентности. Каждая пара кодирует топологическую особенность данных — компоненту связности, петлю или полость большей размерности, — а также масштабы, на которых эта особенность появляется и исчезает.
В этой первой статье торговля пока не реализуется. Диаграмма персистентности в ней пока тоже не строится. В ней создаются два класса, которые преобразуют одномерный ценовой ряд в облако точек в пространстве большей размерности и задают для этого облака понятие расстояния. Именно эти входные данные используются остальными модулями библиотеки.
Облако точек на графике

Рис. 1. Два окна с одинаковыми средним значением и волатильностью при вложении образуют совершенно разные облака точек: трендовое окно — вытянутую дугу, а окно с боковым движением — замкнутую петлю
Приведенная выше схема иллюстрирует идею ещё до написания кода. На ней сопоставляются два окна одинаковой длины, вложенные в трехмерное фазовое пространство. Левое облако соответствует трендовому окну, в котором цена дрейфует в одном направлении с небольшими колебаниями с возвратом к среднему. Правое облако соответствует окну с боковым движением, в котором цена колеблется в узком диапазоне. Два таких окна можно настроить так, чтобы они имели практически одинаковые средние значения и волатильности, однако их облака точек при этом совершенно не похожи друг на друга.
Облако точек трендового окна вытягивается вдоль изогнутой дуги. Облако точек окна с боковым движением собирается в плотную, почти круговую структуру. Вычисление персистентности для каждого из этих облаков дало бы совершенно разные топологические характеристики. Стандартный индикатор, учитывающий только цены закрытия, выдавал бы по ним очень схожие значения.
Именно это и дает данная статья. В остальной части статьи объясняется, как это сделать.
Топология, а не геометрия
Термин «топология» часто употребляют неточно. В контексте TDA это понятие имеет конкретное значение, которое стоит точно определить, прежде чем переходить к коду.
Геометрия изучает расстояния, углы и формы, зависящие от понятия размера. Окружность радиусом один геометрически отличается от окружности радиусом десять. Топология изучает свойства, инвариантные при непрерывной деформации. Окружность радиусом один и окружность радиусом десять топологически эквивалентны. Квадрат также топологически эквивалентен им. То же самое можно сказать и о вытянутом овале. То же самое можно сказать и о треугольнике со скруглёнными углами. Все они имеют ровно одну компоненту связности и ровно одну петлю.
Классический пример — пончик и кофейная чашка. Кофейную чашку можно непрерывно деформировать в пончик без разрезания или склеивания, поскольку у обоих предметов есть ровно по одному отверстию (отверстие, образованное ручкой чашки, и отверстие в центре пончика). Сферу невозможно непрерывно деформировать в пончик, поскольку не существует непрерывного способа образовать отверстие. Число отверстий является топологическим инвариантом. А размер пончика топологическим инвариантом не является.
Для дискретного облака точек соответствующие инварианты подсчитываются на каждом масштабе. При очень малом масштабе каждая точка представляет собой отдельную компоненту связности, и петель нет. При очень большом масштабе все точки связаны между собой, и облако выглядит как единое сплошное пятно. На промежуточных масштабах происходят интересные вещи. Окружность, представленная набором точек, становится связной раньше, чем заполняется ее внутренняя область, поэтому петля сохраняется в некотором диапазоне масштабов. Настоящий кластер очень рано становится одной компонентой связности и остается ею. В случайном облаке образуется множество короткоживущих петель, но нет долгоживущих.
Персистентные гомологии — это формальный аппарат для отслеживания этого процесса. Каждой топологической особенности — будь то компонента связности или петля — сопоставляются масштаб рождения (наименьший порог расстояния, при котором она появляется) и масштаб смерти (наименьший порог, при котором она исчезает). Долгоживущие топологические особенности — это сигнал. Короткоживущие топологические особенности — это шум. В качестве результата выводится диаграмма пар «рождение-смерть».
Для ценовых рядов это важно, поскольку большинство традиционных инструментов привязаны к координатам. Они измеряют уровни или ширину при фиксированном масштабе, а не то, как структура меняется при переходе от одного масштаба к другому. Ни один из них не отслеживает непрерывное изменение топологических особенностей при изменении параметра масштаба; каждый выбирает один масштаб и выдает значение. Персистентность по построению инвариантна относительно масштаба. При масштабировании той же формы с постоянным коэффициентом получается диаграмма персистентности, на которой все значения рождения и смерти умножены на этот коэффициент, а все топологические особенности по-прежнему присутствуют.
Прежде чем продолжить, следует сделать одно важное замечание. Топология — это один из способов взглянуть на данные, а не их исчерпывающее описание. Она отбрасывает значительный объем информации, которая важна для других индикаторов. Признак, полученный с помощью TDA, следует рассматривать как дополнение к существующим инструментам: он отражает то, чего они не улавливают. В четвёртой статье этой серии мы расскажем, что именно это такое и как его распознать на графике.
Теорема Такенса о вложении
Ценовой ряд представляет собой одно число на каждый бар. Топология работает с пространствами большей размерности. Связующим звеном между ними служит конструкция, называемая вложением с временной задержкой, корректность которой Флорис Такенс доказал в 1981 году.
Идея сводится к простой процедуре. Имея последовательность x[0], x[1], x[2], … и два параметра — размерность вложения d и задержку tau, постройте последовательность векторов:
v_i = ( x[i], x[i + tau], x[i + 2*tau], ..., x[i + (d-1)*tau] )
Каждый вектор находится в d-мерном пространстве. Первая координата — это текущее значение, вторая — значение на tau баров раньше (или позже, в зависимости от принятого соглашения), и так далее. В результате получается облако из N = L - (d-1)*tau точек в R^d, где L — длина входного ряда.
Небольшой конкретный пример поможет понять суть конструкции. Предположим, что на вход подаётся ряд из восьми элементов
x = [ 10, 12, 15, 13, 11, 14, 17, 16 ]
с размерностью вложения d = 3 и задержкой tau = 1. По формуле N = L - (d-1)*tau получаем N = 8 - 2 = 6 точек вложения. Каждая точка образована тремя значениями из x с интервалом в один бар:
| i | v_i = ( x[i], x[i+1], x[i+2] ) |
|---|---|
| 0 | ( 10, 12, 15 ) |
| 1 | ( 12, 15, 13 ) |
| 2 | ( 15, 13, 11 ) |
| 3 | ( 13, 11, 14 ) |
| 4 | ( 11, 14, 17 ) |
| 5 | ( 14, 17, 16 ) |
Шесть точек в трёхмерном пространстве. Исходный одномерный ряд был развернут в облако точек, геометрию которого могут анализировать остальные компоненты библиотеки. Обратите внимание, что каждая последующая точка имеет две из трёх координат, совпадающих с координатами предыдущей точки: облако представляет собой дискретную кривую, а не случайный набор точек. Большая задержка увеличила бы временной интервал между значениями, используемыми в качестве координат, и дала бы менее изогнутое облако; другая размерность вложения перенесла бы облако в пространство с другим числом измерений. Именно форма облака будет предметом топологического анализа.

Рис. 2. Вложение Такенса с временной задержкой: скользящее окно вдоль одномерного ряда формирует по одному вектору в каждой позиции, перенося ряд в фазовое пространство
Результат, доказанный Такенсом, неочевиден. При выполнении определённых условий топологические свойства этого облака, полученного вложением с временной задержкой, совпадают с топологическими свойствами исходной динамической системы, породившей ряд. Ряд, порождённый зашумлённой окружностью в фазовом пространстве, при вложении с временной задержкой даёт облако с топологией зашумлённой окружности. Ряд, порождённый хаотическим аттрактором, даёт облако, повторяющее форму аттрактора. Чистый тренд формирует облако, дрейфующее в одном направлении. Одномерная проекция (сам ряд) скрывает форму; вложение восстанавливает её.
К рыночным данным сильная формулировка теоремы напрямую не применима. Цены не представляют собой «чистую» динамическую систему, и любые выводы носят статистический, а не детерминированный характер. Вложение всё же даёт нам теоретически обоснованный способ преобразовать ряд в пределах окна в облако точек, геометрия которого отражает локальную динамику. Трендовые окна и окна с возвратом к среднему формируют заметно различающиеся облака точек. Окна с высокой волатильностью и спокойные окна формируют заметно различающиеся облака точек. Диаграмма персистентности позволяет количественно оценить эти различия.
Необходимо выбрать два параметра: размерность вложения d и задержку τ. Размерность вложения d определяет, какой объём информации о прошлом ряда включается в каждый вектор. Обычно выбирают размерность 2 (для визуализации, с небольшими вычислительными затратами) или 3 (значение по умолчанию в этой библиотеке). Более высокие размерности в принципе позволяют различать большее количество топологий, однако требуют больших затрат на вычисление расстояний и приводят к увеличению размера симплициального комплекса на последующих этапах. Задержка tau определяет, насколько далеко друг от друга расположены отсчеты, используемые во вложении. При задержке, равной 1, используются последовательные бары; при большей задержке — бары, расположенные дальше друг от друга. Стандартная эвристика для стационарных рядов — выбирать в качестве tau задержку, при которой автокорреляция впервые обращается в ноль или средняя взаимная информация достигает первого минимума; для наших целей значение по умолчанию 1 — разумная и простая для понимания отправная точка.
В библиотеке не используются сложные методы выбора параметров. В ней embDim и delay доступны как входные параметры, задаваемые пользователем. В четвертой статье мы вернемся к вопросу настройки параметров и приведем рекомендации, основанные на эмпирических данных для окон EURUSD.
Реализация: CTDAPointCloud
Первый класс в библиотеке — CTDAPointCloud. Он принимает одномерный ряд и формирует облако точек с помощью вложения Такенса с временной задержкой. Класс намеренно сделан небольшим. Он хранит облако точек в виде плоского массива, предоставляет методы доступа для кода, использующего эти данные на последующих этапах, и сам не выполняет никакого анализа.
//+------------------------------------------------------------------+ //| CTDAPointCloud - Takens time-delay embedding of a series | //| | //| Given a series x[0..L-1], dimension d and delay tau, it | //| produces N = L - (d-1)*tau vectors: | //| v_i = ( x[i], x[i+tau], ..., x[i+(d-1)*tau] ) | //+------------------------------------------------------------------+ class CTDAPointCloud { private: double m_points[]; // flattened [N x embDim] int m_N; // number of embedded points int m_embDim; // embedding dimension int m_delay; // time delay tau public: bool Build(const double &series[], int seriesLen, int embDim = 3, int delay = 1); int Size() const { return m_N; } int Dim() const { return m_embDim; } int Delay() const { return m_delay; } bool Get(int idx, double &coords[]) const; double GetCoord(int idx, int d) const; void GetRaw(double &out[]) const { ArrayCopy(out, m_points); } };
Для хранения используется один плоский массив типа double длиной N * embDim. Точка с индексом i имеет d-ю координату, расположенную по смещению i*embDim + d. У этой схемы размещения данных есть одно важное свойство: она эффективна с точки зрения использования кэша. На следующем этапе при вычислении расстояний точки считываются попарно, а чтение двух непрерывных блоков данных быстрее, чем переходы по указателям в ступенчатом двумерном массиве. В MQL5 нет встроенной поддержки двумерных массивов с переменной формой, поэтому использование плоского массива также является естественным решением.
Методы доступа бывают двух типов. Метод Get(idx, coords[]) копирует все координаты точки в массив, предоставленный вызывающим кодом, что удобно, когда нужно работать со всей точкой сразу. Функция GetCoord(idx, d) возвращает одну координату по значению — именно это требуется для вычисления расстояния и позволяет избежать выделения памяти под массив при каждом чтении.
В методе Build реализуется вложение.
//+------------------------------------------------------------------+ //| Build N = seriesLen - (embDim-1)*delay embedded vectors | //+------------------------------------------------------------------+ bool CTDAPointCloud::Build(const double &series[], int seriesLen, int embDim, int delay) { if(seriesLen < 2 || embDim < 1 || delay < 1) { Print("TDAPointCloud::Build - invalid parameters"); return false; } m_embDim = embDim; m_delay = delay; m_N = seriesLen - (embDim - 1) * delay; if(m_N <= 0) { Print("TDAPointCloud::Build - series too short for given embedding"); m_N = 0; return false; } ArrayResize(m_points, m_N * m_embDim); for(int i = 0; i < m_N; i++) for(int d = 0; d < m_embDim; d++) m_points[i * m_embDim + d] = series[i + d * m_delay]; return true; }
Проверка параметров в начале метода защищает от трех ошибок: длина ряда не превышает одного элемента, размерность вложения неположительна или задержка неположительна. Каждая из этих ошибок при дальнейших вычислениях привела бы к бессмысленным результатам без каких-либо предупреждений, поэтому такие параметры явно отклоняются с выводом сообщения.
Ключевой строкой является формула расчета размера: N = seriesLen - (embDim - 1) * delay. При размерности d и задержке tau последним допустимым вектором является тот, последняя координата которого соответствует последнему бару. Этот бар имеет индекс i + (d-1)*tau, и, чтобы этот индекс равнялся seriesLen - 1, значение i должно быть не больше seriesLen - 1 - (d-1)*tau. Число допустимых начальных точек на единицу больше этого максимального значения, поэтому N = seriesLen - (d-1)*tau. Если это число равно нулю или является отрицательным, входная последовательность слишком коротка для запрашиваемого вложения, и метод возвращает значение false.
Двойной цикл заполняет плоский массив. Обратите внимание, что размер облака становится известен сразу после проверки параметров. Размер массива не увеличивается постепенно, и элементы не добавляются по мере выполнения. Один вызов ArrayResize выделяет весь буфер за один раз, а цикл записывает данные в него напрямую. Это самый простой прием обеспечения производительности в библиотеке; здесь он работает потому, что геометрия вложения позволяет заранее точно определить, сколько точек мы получим.
Реализация: CTDADistance
Второй класс — CTDADistance. Он принимает облако точек и формирует полную матрицу попарных расстояний. Каждое значение D[i][j] представляет собой расстояние между точками i и j по выбранной норме. Матрица симметрична, содержит нули на диагонали и хранится в виде плоского массива из N×N элементов типа double.
Почему используется полная матрица, а не матрица, полученная применением порога? При наивном подходе можно было бы хранить двоичную матрицу, которая лишь отмечает, какие пары точек находятся на расстоянии друг от друга, не превышающем порог, заданный фиксированным масштабом. Метод персистентных гомологий ставит более строгий вопрос: при каком именно значении параметра масштаба epsilon, непрерывно растущего от нуля, каждая пара точек впервые удовлетворяет пороговому условию? Для метода персистентных гомологий нужны фактические расстояния между всеми парами точек. Двоичной матрицы, отмечающей пары точек в пределах порогового расстояния при одном фиксированном масштабе, недостаточно. Цена такой точности — O(N²) памяти и O(N²) времени на построение. Для типичных в торговых приложениях размеров окна (от 50 до 200 баров) это означает хранение нескольких тысяч чисел типа double и построение матрицы за миллисекунды. Для более крупных облаков точек это становится основной статьей затрат в цепочке обработки.
//+------------------------------------------------------------------+ //| Distance norms: Chebyshev, Euclidean, Manhattan | //+------------------------------------------------------------------+ enum ENUM_TDA_NORM { TDA_NORM_MAX = 0, // Maximum norm (Chebyshev) TDA_NORM_EUCLIDEAN = 1, // Euclidean norm TDA_NORM_MANHATTAN = 2 // Manhattan (L1) norm };
Эти три нормы не являются взаимозаменяемыми. Евклидова норма используется по умолчанию и предполагается в большинстве теоретических результатов в области персистентных гомологий; при малых возмущениях входных данных она дает наиболее гладкие диаграммы персистентности. Манхэттенская норма (сумма модулей разностей координат) более устойчива к выбросам, поскольку ни одна координата не доминирует при вычислении расстояния. Норма Чебышёва (максимум модулей разностей координат) задает в пространстве вложения окрестности в форме гиперкубов и требует наименьших вычислительных затрат из трех норм. Выбор нормы задается перечислением (enum), чтобы вызывающий код мог экспериментировать; в результатах проверки, представленных в третьей статье, используется евклидова норма, если явно не указано иное.

Рис. 3. Единичный шар каждой нормы в двумерном пространстве: круг для евклидовой нормы, повернутый квадрат для манхэттенской нормы, квадрат со сторонами, параллельными осям координат, для нормы Чебышёва
На изображении выше показан единичный шар каждой нормы в двумерном пространстве. Точка, удалённая от начала координат на евклидово расстояние, равное единице, лежит на окружности. Точка, находящаяся на единичном расстоянии от начала координат по манхэттенской норме, лежит на границе повернутого квадрата. Точка, находящаяся на единичном расстоянии от начала координат по норме Чебышёва, лежит на границе квадрата со сторонами, параллельными осям координат. Для одной и той же пары точек расстояния, как правило, различаются в зависимости от выбранной нормы, и полученная диаграмма персистентности чувствительна к этому выбору.
//+------------------------------------------------------------------+ //| CTDADistance - full NxN pairwise distance matrix of a cloud | //| | //| The full matrix lets the Vietoris-Rips filtration grow | //| epsilon continuously and record every birth/death event. | //| Symmetric, zero diagonal, stored as a flattened NxN array. | //+------------------------------------------------------------------+ class CTDADistance { private: double m_D[]; // flattened NxN distance matrix int m_N; // number of points ENUM_TDA_NORM m_norm; // distance norm double m_maxDist; // max pairwise distance double ComputePairDistance(const CTDAPointCloud &cloud, int i, int j) const; public: bool Build(const CTDAPointCloud &cloud, ENUM_TDA_NORM norm = TDA_NORM_EUCLIDEAN); double Get(int i, int j) const; int Size() const { return m_N; } ENUM_TDA_NORM Norm() const { return m_norm; } double MaxDistance() const { return m_maxDist; } };
Интерфейс аналогичен интерфейсу облака точек: один метод Build, принимающий объект CTDAPointCloud и выбранную норму, и небольшой набор методов доступа. Метод MaxDistance заслуживает отдельного упоминания. В фильтрации Виеториса — Рипса, которую мы рассмотрим в следующей статье, значение эпсилон увеличивается от нуля до этого максимума, поскольку при любом большем значении все пары точек уже соединены и ничего топологически интересного произойти не может. Вычисление этого максимума при построении матрицы практически не требует дополнительных затрат (одно сравнение на пару) и позволяет избежать полного прохода по матрице впоследствии.
//+------------------------------------------------------------------+ //| Distance between point i and point j under the selected norm | //+------------------------------------------------------------------+ double CTDADistance::ComputePairDistance(const CTDAPointCloud &cloud, int i, int j) const { int dim = cloud.Dim(); double dist = 0.0; for(int d = 0; d < dim; d++) { double diff = cloud.GetCoord(i, d) - cloud.GetCoord(j, d); switch(m_norm) { case TDA_NORM_MAX: dist = MathMax(dist, MathAbs(diff)); break; case TDA_NORM_MANHATTAN: dist += MathAbs(diff); break; case TDA_NORM_EUCLIDEAN: default: dist += diff * diff; break; } } if(m_norm == TDA_NORM_EUCLIDEAN) dist = MathSqrt(dist); return dist; }
Процедура обработки пары точек перебирает координаты вложения, накапливает значение для расчета расстояния согласно выбранной норме и лишь в конце извлекает квадратный корень, если используется евклидова норма. Вынесение операции извлечения квадратного корня за пределы цикла позволяет сэкономить время и избежать накопления погрешности округления при суммировании. Ветка по умолчанию использует евклидову норму при любом нераспознанном значении нормы, обеспечивая корректную работу даже при передаче вызывающим кодом случайного целого числа.
//+------------------------------------------------------------------+ //| Build the full pairwise distance matrix | //+------------------------------------------------------------------+ bool CTDADistance::Build(const CTDAPointCloud &cloud, ENUM_TDA_NORM norm) { m_N = cloud.Size(); m_norm = norm; if(m_N < 2) { Print("TDADistance::Build - need at least 2 points"); return false; } ArrayResize(m_D, m_N * m_N); m_maxDist = 0.0; for(int i = 0; i < m_N; i++) { m_D[i * m_N + i] = 0.0; for(int j = i + 1; j < m_N; j++) { double d = ComputePairDistance(cloud, i, j); m_D[i * m_N + j] = d; m_D[j * m_N + i] = d; // symmetric if(d > m_maxDist) m_maxDist = d; } } return true; }
Внешний цикл проходит только по верхнему треугольнику матрицы, при этом j строго больше i. Диагональные элементы явно обнуляются. Для каждой пары вычисленное расстояние записывается в обе ячейки — (i, j) и (j, i), чтобы при последующих обращениях можно было указывать индексы в любом порядке, не проверяя, какой из них меньше. Для каждой пары обновляется значение максимального расстояния.
Метод доступа Get проверяет границы индексов и возвращает соответствующий элемент плоского массива. Эта проверка требует мало ресурсов и предотвращает незаметное чтение за границами массива, которое иначе могло бы дать ошибочное значение расстояния — ноль или произвольное число.
Разберем пример, чтобы наглядно показать расположение элементов. Возьмем три точки в двумерном пространстве:
p0 = (0, 0), p1 = (3, 0), p2 = (0, 4)
При использовании евклидовой нормы попарные расстояния равны 3 между p0 и p1, 4 между p0 и p2 и 5 между p1 и p2 (классический прямоугольный треугольник со сторонами 3–4–5). Полная матрица, построенная методом Build, выглядит следующим образом:
| p0 | p1 | p2 | |
|---|---|---|---|
| p0 | 0 | 3 | 4 |
| p1 | 3 | 0 | 5 |
| p2 | 4 | 5 | 0 |
Матрица симметрична и содержит нули по диагонали. Максимальное значение элемента матрицы равно 5, поэтому после завершения Build переменная m_maxDist будет равна 5. При хранении в плоском массиве с N = 3 значение в логической строке 1 и столбце 2 находится по смещению 1*3 + 2 = 5 во внутреннем массиве m_D. Зеркальная копия в логической строке 2 и столбце 1 находится по смещению 2*3 + 1 = 7. Build записывает обе копии, поэтому при последующих обращениях можно указывать индексы в любом порядке, не задумываясь о том, какой из них меньше. В MQL5 нет встроенной поддержки двумерных массивов с динамически задаваемыми размерами, поэтому мы используем плоский массив. Преимущество — выделение единого непрерывного блока памяти. Такое хранение эффективно с точки зрения использования кэша и удобно для копирования данных целиком.
Шаблон EnsureCapacity
В каждом из двух классов этой статьи функция ArrayResize вызывается один раз. Облако точек определяет свой размер по формуле N = seriesLen - (embDim - 1) * delay. Матрица расстояний имеет размер N × N. В обоих случаях увеличивать массив не требуется: память выделяется один раз в самом начале.
В остальных частях библиотеки ситуация сложнее. В фильтрации Виеториса — Рипса, описанной в следующей статье, симплексы перечисляются на лету: каждая вершина, каждое ребро длиной меньше эпсилон, каждый треугольник, у которого длины всех трех ребер меньше эпсилон. Общее количество ребер в облаке из 200 точек может достигать 19 900. Число треугольников может достигать 1,3 миллиона. Простой формулы для предварительного расчета числа симплексов нет. В ходе перебора каждый симплекс обнаруживается, оценивается и либо принимается, либо отбрасывается.
Наивный подход в данной ситуации заключается в том, чтобы начать с пустого массива и вызывать функцию ArrayResize(arr, count + 1) каждый раз, когда принимается новый симплекс. Это также катастрофически сказывается на производительности. Функция ArrayResize при работе с управляемым массивом копирует все существующие элементы в новый буфер заданного размера, поэтому каждое добавление занимает время O(N), а последовательность из N добавлений — O(N^2). Для облака из 200 точек при maxDim, равном 2, одна эта ошибка увеличивает время вычисления с долей секунды до 60 секунд.
Решение представляет собой классическую схему удвоения, адаптированную к семантике контейнеров MQL5.
//+------------------------------------------------------------------+ //| Grow a dynamic array by capacity doubling (amortised push) | //+------------------------------------------------------------------+ void EnsureCapacity(int needed) { if(needed <= m_capacity) return; int newCap = (m_capacity == 0 ? 256 : m_capacity); while(newCap < needed) newCap *= 2; ArrayResize(m_arr, newCap); m_capacity = newCap; }
Класс хранит два значения: m_count — число фактически заполненных элементов и m_capacity — размер базового массива. Перед каждым добавлением вызывается метод EnsureCapacity, которому передается новое требуемое число элементов. Если текущей емкости массива достаточно, ничего не происходит. В противном случае емкость удваивается до тех пор, пока не станет не меньше требуемого размера, после чего функция ArrayResize вызывается один раз, а не при каждом добавлении.
Метод `Clear` (здесь не показан) сбрасывает `m_count` в ноль, но оставляет `m_capacity` без изменений, поэтому при повторном использовании контейнера не требуется перераспределение памяти. В этом и заключается разница между индикатором, который выполняет пересчет один раз на бар, и индикатором, который незаметно приводит к постоянному росту объёма выделенной памяти.
Данный шаблон не используется двумя классами, рассматриваемыми в данной статье, поскольку их размеры известны заранее. Этот шаблон представлен здесь, чтобы при его появлении в следующей статье в классах для фильтрации Виеториса — Рипса и граничных матриц читатель уже точно понимал, что он делает и зачем нужен. Любой новый код контейнера, добавляемый в библиотеку, должен соответствовать тому же шаблону.
Пример: вложение окна данных текущего графика
Эти два класса уже позволяют получить наглядный результат. Прилагаемый скрипт TDA_Demo.mq5 извлекает окно цен закрытия с текущего графика, вызывает метод Build для облака точек, затем метод Build для матрицы расстояний и выводит полученные результаты. Это минимальная полноценная программа, использующая оба класса, описанные в данной статье.
//+------------------------------------------------------------------+ //| TDA_Demo.mq5 | //| TDA Library for MQL5 | //| TDA_Demo: Takens embedding + pairwise distance matrix | //+------------------------------------------------------------------+ #include <TDA/TDAPointCloud.mqh> #include <TDA/TDADistance.mqh> input int InpWindow = 80; // bars of close history to embed input int InpEmbDim = 3; // embedding dimension d input int InpDelay = 1; // time delay tau void OnStart() { double closes[]; int copied = CopyClose(_Symbol, _Period, 0, InpWindow, closes); if(copied != InpWindow) { PrintFormat("TDA_Demo: needed %d closes, got %d - aborting", InpWindow, copied); return; } //--- Takens embedding CTDAPointCloud cloud; if(!cloud.Build(closes, InpWindow, InpEmbDim, InpDelay)) return; //--- pairwise distance matrix CTDADistance dist; if(!dist.Build(cloud, TDA_NORM_EUCLIDEAN)) return; PrintFormat("Cloud size %d, dim %d, max distance %.6f", cloud.Size(), cloud.Dim(), dist.MaxDistance()); //--- show the first few embedded points int show = (cloud.Size() < 4 ? cloud.Size() : 4); for(int i = 0; i < show; i++) { double coords[]; cloud.Get(i, coords); string s = ""; for(int d = 0; d < cloud.Dim(); d++) s += StringFormat("%s%.5f", (d == 0 ? "" : ", "), coords[d]); PrintFormat(" v[%d] = ( %s )", i, s); } //--- sample distances from the matrix if(cloud.Size() >= 3) PrintFormat(" d(0,1) = %.6f d(0,2) = %.6f d(1,2) = %.6f", dist.Get(0, 1), dist.Get(0, 2), dist.Get(1, 2)); }
При входных параметрах по умолчанию окно длиной 80 баров с размерностью вложения 3 и задержкой 1 дает облако из 80 − 2, то есть 78 точек в R³. Максимальное расстояние, выдаваемое матрицей расстояний, — это диаметр облака, верхняя граница масштаба для фильтрации Виеториса — Рипса. В спокойном окне данных EURUSD H1 этот показатель может составлять порядка 0,002 (в единицах цены); в волатильном окне — в десять раз больше. Размер диаграммы персистентности, которая появится в третьей статье, зависит от этого числа. Первые несколько выведенных векторов наглядно показывают структуру вложения с перекрывающимися окнами: у каждого из них две из трёх координат совпадают с координатами вектора в предыдущей строке.

Рис. 4. Ряд цен закрытия за 80 баров (вверху) и те же данные, перенесённые в трёхмерное пространство с помощью вложения с временной задержкой (внизу); форма траектории не видна в одномерном представлении, но явно проявляется в фазовом пространстве
На приведенной выше схеме показано сопоставление входной последовательности и её вложения. На верхней панели показан ряд цен закрытия за 80 баров. На нижней панели показаны те же данные, перенесённые в трёхмерное пространство с помощью вложения с временной задержкой. Форма ценовой траектории, не видимая в одномерном представлении, становится геометрической структурой, с которой будет работать остальная часть библиотеки.
Трендовое окно порождает облако, которое смещается в определённом направлении. Окно с боковым движением порождает облако, в котором траектория возвращается в уже пройденные области. Волатильное окно порождает разреженное облако с большим разбросом точек. Эти различия пока описаны лишь качественно; в третьей статье они получат численные характеристики с помощью персистентных гомологий. Пока что достаточно убедиться, что вложение даёт наглядный результат.
Что дальше?
У нас есть облако. Облако — это ещё не форма. В следующей статье этой серии мы построим фильтрацию Виеториса — Рипса, которая превращает облако в последовательность симплициальных комплексов, параметризованную масштабом эпсилон.
- Симплексы: вершина, ребро, треугольник и способы их соединения.
- Фильтрация в зависимости от параметра эпсилон: одно и то же облако показано в трёх разных масштабах.
- CTDARips — класс, который перечисляет симплексы с использованием таблиц поиска с доступом за O(1) и описанного выше шаблона EnsureCapacity.
- CTDABoundary — разреженная матрица над Z/2, которая кодирует отношения между симплексами и их гранями и подготавливает облако к вычислению персистентности.
В третьей статье проводится редукция граничной матрицы и выводится диаграмма персистентности. В четвёртой статье энтропия персистентности используется в качестве индикатора рыночного режима. В третьей статье также проводится численная проверка библиотеки; её результаты обсуждаются там, а не здесь.
Заключение:
Эта статья открыла новую серию о топологическом анализе данных (TDA) для MQL5; в ней реализованы первые два класса библиотеки.
- CTDAPointCloud выполняет вложение одномерного ценового ряда в фазовое пространство методом Такенса с временной задержкой. Облако содержит N = seriesLen − (embDim − 1) × delay точек в пространстве R^embDim.
- CTDADistance вычисляет полную матрицу попарных расстояний с использованием одной из трёх норм (евклидовой нормы, манхэттенской нормы или нормы Чебышёва) и сохраняет максимальное попарное расстояние для последующей фильтрации.
Топология отвечает на иной вопрос, чем тот, на который обычно отвечают индикаторы. Вложение Такенса представляет собой связующее звено между одномерным рядом и топологическим объектом. Матрица попарных расстояний служит входными данными для каждого последующего этапа. Два класса, реализованные здесь, составляют основу для следующих трёх статей.
К статье приложены только созданные и описанные в ней файлы, поэтому материалы для скачивания соответствуют тому, о чём вы только что прочитали. Остальные классы библиотеки — фильтрация Виеториса — Рипса, граничная матрица, редукция столбцов, диаграмма персистентности и единый фасад — будут представлены в последующих статьях по мере построения конвейера топологического анализа на основе двух классов, реализованных здесь.
| # | Имя файла | Тип | Описание |
|---|---|---|---|
| 1 | TDAPointCloud.mqh | Заголовочный файл | Вложение Такенса для одномерного ценового ряда в фазовое пространство |
| 2 | TDADistance.mqh | Заголовочный файл | Полная матрица попарных расстояний для трех норм |
| 3 | TDA_Demo.mq5 | Скрипт | Готовый к запуску демонстрационный скрипт: выполняет вложение ряда цен закрытия текущего графика и выводит облако точек и расстояния |
Перевод с английского произведен MetaQuotes Ltd.
Оригинальная статья: https://www.mql5.com/en/articles/23037
Предупреждение: все права на данные материалы принадлежат MetaQuotes Ltd. Полная или частичная перепечатка запрещена.
Данная статья написана пользователем сайта и отражает его личную точку зрения. Компания MetaQuotes Ltd не несет ответственности за достоверность представленной информации, а также за возможные последствия использования описанных решений, стратегий или рекомендаций.