我们XAUUSD系统的第2版内置了一个ONNX神经网络模型。它的回测看起来非常出色,我们也公开了。随后我们做了真正重要的那项检验,模型没有通过。
训练窗口和回测窗口是同一个窗口
该模型使用2020年1月至2026年7月的数据训练。而那条亮眼的资金曲线,正是在完全相同的期间内测得的。这不是优势的证据,而是拟合程度的展示。一个已经看过这些数据的模型,无论它能否预测任何事情,都会把这段历史描述得很好。
它从未见过的那些年份
我们用模型从未见过的2016年至2019年进行检验。在我们的测试中它是亏损的。同期我们运行的前推实盘账户也呈现负期望值。在唯一能够验证该模型的数据上,两项独立检验都是否定的。
我们做了什么
我们有两个选择:继续公布那张样本内测得的漂亮图表,或者更换引擎。在3.10版中,神经网络模型被移除。入场判定用梯度提升重建,并通过前推分析验证,因此决策规则始终在它没有学习过的期间接受检验。该更新对已购用户免费。旧的回测仍然保留在产品页面上,并标注为样本内,因为删除它是掩盖错误,而不是纠正错误。
你可以对任何卖家做的检查
请索取两个日期:模型的训练窗口,以及他们展示给你的回测窗口。如果两者重叠,你眼前的数字只说明模型把过去背得多好,对未来则什么都没说。这一点适用于其他任何人的现行版本,也同样适用于我们的旧版本。
重建后的系统,以及包含上述失败在内的完整测量记录: https://www.mql5.com/en/market/product/187329
我们公开了每个EA的实测回测数据(盈利因子、净值回撤、交易次数、逐年结果): fxea365.com/ea/ranking
