学習期間内の成績は証拠ではない――自社のAIモデルを葬って学んだこと

採点対象のデータを既に見ているモデルは、見事に見えます。それは相場についての発見ではなく、記憶の説明にすぎません。価値のある数字は、当てはめの際にモデルが一度も見ていないデータからしか出てきません。

戦略のパラメータ、あるいは機械学習モデルの重みが、ある期間を使って選ばれたなら、同じ期間で測った成績は構造的に汚染されています。その当てはめは、まさにそこで良い成績だったから選ばれたのです。それを「性能」として報告するのは、チャートを着せた循環論法です。

これはAI固有の問題ではありません。ストラテジーテスターの最適化をある期間に回して最良結果を公表するのは、語彙が小さいだけで全く同じ誤りです。パラメータが多く、試した組み合わせが多いほど、勝者がノイズに当てはめられている確率は高まります。

パラメータはどの期間で選ばれ、公表された数値はどの期間のものか。両者が同じなら、その数字は将来について何も語っていません。販売者が答えられないなら、答えは「同じ」だと考えてください。

GOLD NEURON バージョン2.x に搭載したONNXモデルは、2020年1月から2026年7月のデータで学習させたものです。その期間内のバックテストはインサンプルの当てはめであり、実運用で得たものではありません。2016〜2019年のアウトオブサンプル年では、私たちの検証でこのモデルは損失を出し、フォワード口座も期待値マイナスでした。そのためバージョン3.10でエンジンを差し替えました。以前のバックテストは、こっそり削除するのではなく「学習期間内」と明記したうえで残してあります。

見事なインサンプル曲線は、弱い証拠ではありません。証拠ではないのです。正直な選択はモデルを擁護することではなく、引退させ、どの期間で学習させたのかを製品説明に書くことでした。