Обсуждение статьи "Точность вычислений под прицелом: Сравнение MQL5, ONNX Runtime и ALGLIB"

Опубликована статья Точность вычислений под прицелом: Сравнение MQL5, ONNX Runtime и ALGLIB:

В этой статье проводится сравнительное тестирование прямого прохода многослойного перцептрона (MLP), реализованного в MQL5 тремя способами: средствами штатного MQL5, с использованием ALGLIB и ONNX Runtime. Мы количественно оцениваем точность вычислений относительно эталона float64 и время выполнения (среднее значение и процентили), а затем предлагаем практические критерии и готовый к использованию тестовый стенд, которые помогут выбрать подходящий вычислительный движок и интегрировать его в советник.

Большинство из нас считает математические библиотеки взаимозаменяемыми. Скалярное произведение — это скалярное произведение, поэтому не должно иметь значения, выполняется ли оно с использованием матричных типов MQL5, встроенного порта ALGLIB или ONNX Runtime. В этой статье это предположение проверяется на примере одной небольшой сети и показывается, где оно подтверждается, а где — нет: результаты двух из трех вычислительных движков совпадают с эталоном float64 в пределах машинной точности, а третий демонстрирует измеримое снижение точности и увеличение времени выполнения.

Я намеренно ограничил рамки эксперимента. Я беру обученный многослойный перцептрон (8 входов, скрытые слои из 16 и 8 нейронов с функцией активации ReLU, один линейный выход) и выполняю один и тот же прямой проход средствами штатного MQL5 с типами matrix<double> и vector<double>, с использованием CMatrixDouble из ALGLIB и в ONNX Runtime через OnnxRun(). Одинаковые веса, одинаковые входные данные, три варианта выполнения. Затем я измеряю два показателя, важных для советника при работе в реальном времени: насколько результат каждой реализации отклоняется от эталона float64, рассчитанного в Python, и сколько микросекунд каждый из них тратит на один вызов.

Проект состоит из девяти файлов: скрипта экспорта на Python, трех общих подключаемых файлов, трех подключаемых файлов вычислительных движков, советника для тестирования и индикатора мониторинга на графике. Ниже я опишу каждый файл: для чего он нужен, как работает и почему имеет именно такую структуру. Затем вы сможете использовать этот тестовый стенд в своем проекте с другой моделью.

Область рассмотрения: речь идет о сравнительном тестировании вычислений, а не о торговой стратегии. Нигде в проекте нет логики входа в позицию или выхода из нее. Советник представляет собой диагностический тестовый стенд, который выполняет один и тот же инференс тремя способами и записывает результаты в журнал, поэтому в статье не делается никаких заявлений об эффективности какой-либо торговой стратегии. Эти выводы применимы ко всему, что обычно рассчитывается непосредственно в коде: рекурсивным индикаторам, фильтрам рыночных режимов, инференсу моделей машинного обучения и формулам расчета размера позиции с учетом риска.

Автор: Olamide Daniel Adebayo

Для советника важнее не сама погрешность, а где она ложится рядом с порогом. Модель из PyTorch по умолчанию экспортируется в float32, у него относительная точность около 1,2e-7. Если сигнал сравнивается с порогом 0.5, то выход 0.49999997 в одном движке и 0.50000003 в другом дают разные сделки на том же баре. Я бы добавил в стенд счетчик таких расхождений по знаку относительно порога, а не только максимум отклонения: на истории сразу видно, сколько входов реально меняется.