看不懂
我觉得你这个点其实很关键😂
很多人把防过拟合理解成「不要一直调 EA 参数」,但实际上 research process 本身也可能 overfit。
如果 OOS A 不好 → 改 WF window,
OOS B 不好 → 改 slippage,
再不好 → 换 metric,
最后找到一个表现漂亮的验证框架,那这个框架本身其实已经间接利用了 OOS 信息。
所以我反而觉得真正重要的是「validation protocol 有没有事先锁死」。
我比较想知道你实际会怎么处理:
如果一个策略在预先锁定的验证流程下表现一般,但在完全 untouched 的最终数据上又失败,你会直接淘汰,还是会把它当成研究反馈重新开始一轮?
最近在看 EA 和 walk-forward,我突然想到一个有点绕的问题...
我们都知道不要一直调参数,不然很容易过拟合。
所以大家会做 OOS walk-forward Monte Carlo
但如果 OOS 结果不好,我就改一下测试区间
还是不好,再改一下 slippage 假设
再不好,就换一个评价指标或者 walk-forward 窗口。
最后终于有一套验证方法跑出来很好看。
那我就在想:
这个 OOS 还算真的 OOS 吗?
虽然策略参数没重新调,但每次失败都会影响我下一步怎么测试。
感觉有点像数据没有直接进模型,但已经“进了研究者的大脑”😂
你们会在哪一步停止调整验证流程?
如果最后 untouched OOS 失败,会直接淘汰策略,还是回去继续研究?