Обсуждение статьи "Архитектура машинного обучения в MetaTrader 5 (Часть 17): Tестирование на исторических данных методом комбинаторной перекрестной проверки с очисткой (CPCV) — от модели на Python к проверке на уровне тиков"
Мы переносим артефакты, созданные в Python, в MQL5 для тестирования на исторических данных методом комбинаторной перекрестной проверки с очисткой (CPCV) с точностью до тика. Скрипт экспорта преобразует модель ONNX, калибратор, спецификацию признаков и маски траекторий в плоские файлы, а советник вычисляет признаки, выполняет ONNX-инференс с калибровкой и торгует на реальных тиках. Тестер стратегий выполняет тестирование для каждой комбинаторной траектории, а Python обрабатывает кривые эквити по всем траекториям и формирует распределение коэффициентов Шарпа по траекториям, чтобы оценить устойчивость стратегии с учетом спреда, проскальзывания и комиссии.
Конвейер на Python, описанный в частях с 8 по 12, создает обученную модель, обученный калибратор вероятностей, спецификацию признаков и DataFrame событий. Эти артефакты позволяют ответить на один вопрос о модели: обладает ли она статистическим преимуществом по историческим доходностям на уровне баров? Они оставляют без ответа второй вопрос: сохранится ли это статистическое преимущество с учетом издержек исполнения? Спред, проскальзывание, комиссия и своп — не абстрактные числа, а торговые издержки, которые уменьшают выявленное моделью теоретическое преимущество. Распределение коэффициентов Шарпа, рассчитанное по прибылям и убыткам на каждом баре, — полезный диагностический инструмент. Именно результат, рассчитанный на основе исполнения сделок на уровне тиков, служит доказательной базой для принятия решения о запуске стратегии в реальную торговлю.
Эта статья служит связующим звеном между этими двумя мирами. Конвейер экспортирует свои артефакты в форматы, нативные для Python (ONNX, pickle, parquet). Тестер стратегий MetaTrader 5 использует плоские файлы (CSV, JSON). Скрипт экспорта обеспечивает преобразование между ними. На стороне MQL5 советник загружает преобразованные артефакты в функции OnInit(). Он формирует признаки на основе данных баров, выполняет инференс ONNX, применяет калибровочное отображение, определяет размер позиций по логике из части 10 и части 11 и исполняет ордера на потоке тиков. Затем в режиме оптимизации тестера стратегий каждая из φ[N, k] комбинаторных траекторий запускается как отдельный агент тестирования, формируя кривые эквити с точностью до тика, которые собираются и анализируются в Python.
В результате получаем распределение коэффициентов Шарпа по траекториям и оценку вероятности переобучения при тестировании на исторических данных (PBO), рассчитанные на основе исполнения сделок на реальных тиках. Решение о запуске стратегии в реальную торговлю принимается на основе трех показателей из этого распределения: медианы коэффициентов Шарпа по траекториям (сохраняется ли статистическое преимущество после учета издержек?), стандартного отклонения коэффициентов Шарпа по траекториям (стабильны ли результаты при разных временных конфигурациях?) и вероятности переобучения при тестировании на исторических данных (PBO) (лучше ли выбор стратегии, чем случайный выбор?).
Эта статья — Часть 17 серии «Схема машинного обучения в MetaTrader 5». В Части 12 была создана откалиброванная модель, экспорт которой в формате ONNX служит здесь основными входными данными. В статье «Единый конвейер валидации» были определены структура блоков комбинаторной перекрестной проверки с очисткой (CPCV) и расчет вероятности переобучения при тестировании на исторических данных (PBO), которые воспроизводятся в описанной здесь схеме управления запусками тестера стратегий.
Для авторизации и пользования сайтом MQL5.com необходимо разрешить использование файлов Сookie.
Пожалуйста, включите в вашем браузере данную настройку, иначе вы не сможете авторизоваться.
Вы вошли в аккаунт. Двухфакторная аутентификация отключена. Настройте её заново и отсканируйте новый QR-код или продолжите с отключённой двухфакторной аутентификацией.
Опубликована статья Архитектура машинного обучения в MetaTrader 5 (Часть 17): Tестирование на исторических данных методом комбинаторной перекрестной проверки с очисткой (CPCV) — от модели на Python к проверке на уровне тиков:
Конвейер на Python, описанный в частях с 8 по 12, создает обученную модель, обученный калибратор вероятностей, спецификацию признаков и DataFrame событий. Эти артефакты позволяют ответить на один вопрос о модели: обладает ли она статистическим преимуществом по историческим доходностям на уровне баров? Они оставляют без ответа второй вопрос: сохранится ли это статистическое преимущество с учетом издержек исполнения? Спред, проскальзывание, комиссия и своп — не абстрактные числа, а торговые издержки, которые уменьшают выявленное моделью теоретическое преимущество. Распределение коэффициентов Шарпа, рассчитанное по прибылям и убыткам на каждом баре, — полезный диагностический инструмент. Именно результат, рассчитанный на основе исполнения сделок на уровне тиков, служит доказательной базой для принятия решения о запуске стратегии в реальную торговлю.
Эта статья служит связующим звеном между этими двумя мирами. Конвейер экспортирует свои артефакты в форматы, нативные для Python (ONNX, pickle, parquet). Тестер стратегий MetaTrader 5 использует плоские файлы (CSV, JSON). Скрипт экспорта обеспечивает преобразование между ними. На стороне MQL5 советник загружает преобразованные артефакты в функции OnInit(). Он формирует признаки на основе данных баров, выполняет инференс ONNX, применяет калибровочное отображение, определяет размер позиций по логике из части 10 и части 11 и исполняет ордера на потоке тиков. Затем в режиме оптимизации тестера стратегий каждая из φ[N, k] комбинаторных траекторий запускается как отдельный агент тестирования, формируя кривые эквити с точностью до тика, которые собираются и анализируются в Python.
В результате получаем распределение коэффициентов Шарпа по траекториям и оценку вероятности переобучения при тестировании на исторических данных (PBO), рассчитанные на основе исполнения сделок на реальных тиках. Решение о запуске стратегии в реальную торговлю принимается на основе трех показателей из этого распределения: медианы коэффициентов Шарпа по траекториям (сохраняется ли статистическое преимущество после учета издержек?), стандартного отклонения коэффициентов Шарпа по траекториям (стабильны ли результаты при разных временных конфигурациях?) и вероятности переобучения при тестировании на исторических данных (PBO) (лучше ли выбор стратегии, чем случайный выбор?).
Эта статья — Часть 17 серии «Схема машинного обучения в MetaTrader 5». В Части 12 была создана откалиброванная модель, экспорт которой в формате ONNX служит здесь основными входными данными. В статье «Единый конвейер валидации» были определены структура блоков комбинаторной перекрестной проверки с очисткой (CPCV) и расчет вероятности переобучения при тестировании на исторических данных (PBO), которые воспроизводятся в описанной здесь схеме управления запусками тестера стратегий.
Автор: Patrick Murimi Njoroge