Мы обучили нейросеть для золота и сами же её удалили: что показали годы вне выборки

Во второй версии нашей системы для XAUUSD стояла нейросетевая модель в формате ONNX. Её бэктест выглядел отлично, и мы его опубликовали. Затем мы провели проверку, которая действительно важна, и модель её не прошла.

Модель обучалась на данных с января 2020 по июль 2026 года. А впечатляющая кривая эквити измерялась внутри ровно того же периода. Это не доказательство преимущества, а демонстрация подгонки. Модель, которая уже видела данные, хорошо их опишет независимо от того, способна ли она что-либо прогнозировать.

Мы протестировали 2016-2019 годы, которые модели никогда не показывали. В наших тестах она была убыточной. Форвард-счёт, который мы вели параллельно, показал отрицательное матожидание за тот же период наблюдения. Две независимые проверки, обе отрицательные, на единственных данных, способных подтвердить модель.

У нас было два варианта: продолжать публиковать лестный график, измеренный внутри выборки, или заменить движок. В версии 3.10 нейросетевая модель удалена. Фильтр входа перестроен на градиентном бустинге и проверен walk-forward анализом, поэтому правило решения всегда испытывается на периодах, на которых оно не обучалось. Обновление было бесплатным для существующих пользователей. Старый бэктест остаётся опубликованным на странице продукта с пометкой «внутри выборки», потому что удалить его значило бы скрыть ошибку, а не исправить её.

Спросите две даты: окно обучения модели и окно показываемого вам бэктеста. Если они пересекаются, стоящее перед вами число описывает лишь то, насколько хорошо модель запомнила прошлое. О будущем оно не говорит ничего. Это относится к нашей старой версии ровно так же, как к текущей версии кого угодно ещё.

Перестроенная система с полной историей измерений, включая описанную неудачу: https://www.mql5.com/en/market/product/187329

Все продукты и бесплатные утилиты: https://www.mql5.com/en/users/app.develop.sk/seller