Результаты in-sample — не доказательство: чему нас научил отказ от собственной ИИ-модели

Модель, уже видевшая данные, на которых её оценивают, будет выглядеть блестяще. Это не открытие о рынках, а описание памяти. Ценность имеют только цифры, полученные на данных, которых модель не видела при подгонке.

Если параметры стратегии — или веса модели — выбирались по некоторому периоду, то результаты, измеренные на этом же периоде, загрязнены по построению. Именно потому эта подгонка и была выбрана, что там она показывала хороший результат. Подавать такой результат как эффективность — это порочный круг в обличье графика.

Это не только проблема ИИ. Прогнать оптимизатор тестера по периоду и опубликовать лучший результат — та же ошибка, только словарь скромнее. Чем больше параметров и перебранных комбинаций, тем вернее, что победитель подогнан под шум.

На каком периоде выбирались параметры и с какого периода взята опубликованная цифра? Если это один и тот же период, цифра ничего не говорит о будущем. Если продавец не может ответить, считайте, что период тот же.

ONNX-модель в Gold Neuron версии 2.x обучалась на данных с января 2020 по июль 2026 года. Её бэктест внутри этого окна был in-sample-подгонкой и никогда не был получен в реальной торговле. На внеобучающих 2016–2019 годах модель в наших тестах теряла деньги, а форвард-счёт показывал отрицательное матожидание. Поэтому в версии 3.10 мы заменили движок. Прежний бэктест мы оставили опубликованным с пометкой in-sample, а не удалили тихо.

Впечатляющая in-sample кривая — не слабое доказательство, а вовсе не доказательство. Честным шагом было не защищать модель, а вывести её из эксплуатации и указать в описании, какое окно её обучало.