当社のXAUUSDシステムのバージョン2には、ONNX形式のニューラルネットワークモデルを搭載していました。バックテストの成績は優秀に見え、私たちはそれを公開しました。その後、本当に意味のある検証を行い、モデルは不合格になりました。
学習期間とバックテスト期間が同一だった
モデルの学習データは2020年1月から2026年7月でした。そして見栄えの良い資産曲線は、まったく同じ期間内で計測されたものです。これはエッジの証拠ではなく、当てはまりの良さの実演にすぎません。すでにそのデータを見たモデルは、将来を予測できるか否かにかかわらず、その期間をうまく説明します。
モデルが一度も見ていない年
モデルに一度も見せていない2016年から2019年で検証しました。当社のテストでは負け越しでした。並行して稼働させていたフォワード口座も、同じ観測期間で期待値がマイナスでした。モデルを裏付けられる唯一のデータで、独立した2つの検証がどちらも否定的だったということです。
私たちが取った対応
選択肢は2つでした。見栄えの良い学習期間内のチャートを掲げ続けるか、エンジンを入れ替えるか。バージョン3.10でニューラルモデルを削除しました。エントリー判定は勾配ブースティングで作り直し、ウォークフォワード分析で検証しています。つまり判定ルールは常に、学習していない期間で試されます。更新は既存ユーザーには無償です。古いバックテストは「学習期間内」と明記したうえで製品ページに残しています。削除することは、誤りを正すことではなく隠すことだからです。
どの販売者にも使える確認方法
日付を2つ聞いてください。モデルの学習期間と、提示されているバックテストの期間です。この2つが重なっているなら、目の前の数字は「モデルが過去をどれだけ暗記できたか」を表しているだけで、将来については何も語っていません。これは他社の現行製品と同じく、当社の旧バージョンにも当てはまります。
上記の失敗を含む全計測履歴を掲載した、作り直し後のシステム: https://www.mql5.com/en/market/product/187329
全EAの実測バックテストデータ(プロフィットファクタ・有効証拠金ドローダウン・取引数・年別成績)を公開しています: fxea365.com/ea/ranking
