In-Sample-Ergebnisse sind kein Beweis: Was wir lernten, als wir unser eigenes KI-Modell abschalteten

Ein Modell, das die Daten bereits gesehen hat, an denen es gemessen wird, sieht brillant aus. Das ist keine Erkenntnis über Märkte, sondern eine Beschreibung von Gedächtnis. Nur Zahlen aus Daten, die das Modell beim Anpassen nie gesehen hat, sind etwas wert.

Wurden die Parameter einer Strategie — oder die Gewichte eines ML-Modells — anhand eines Zeitraums gewählt, sind Ergebnisse aus genau diesem Zeitraum konstruktionsbedingt kontaminiert. Die Anpassung wurde gerade deshalb ausgewählt, weil sie dort gut abschnitt. Diesen Wert als Performance zu melden, ist ein Zirkelschluss im Chartgewand.

Das ist kein reines KI-Problem. Den Optimierer über einen Zeitraum laufen zu lassen und das beste Ergebnis zu veröffentlichen, ist derselbe Fehler mit kleinerem Vokabular. Je mehr Parameter und Kombinationen, desto sicherer ist der Sieger an Rauschen angepasst.

In welchem Zeitraum wurden die Parameter gewählt, und aus welchem Zeitraum stammt die veröffentlichte Kennzahl? Sind beide identisch, sagt die Zahl nichts über die Zukunft. Kann der Verkäufer nicht antworten, lautet die Antwort „identisch“.

Das ONNX-Modell in Gold Neuron Version 2.x wurde mit Daten von Januar 2020 bis Juli 2026 trainiert. Sein Backtest in diesem Fenster war eine In-Sample-Anpassung und stammte nie aus dem Live-Handel. In den Out-of-Sample-Jahren 2016 bis 2019 war das Modell in unseren Tests verlustbringend, und das Forward-Konto zeigte negativen Erwartungswert. Deshalb haben wir die Engine in Version 3.10 ersetzt. Den älteren Backtest haben wir veröffentlicht gelassen — als In-Sample gekennzeichnet, statt ihn still zu löschen.

Eine beeindruckende In-Sample-Kurve ist kein schwacher Beleg — sie ist gar keiner. Der ehrliche Schritt war nicht, das Modell zu verteidigen, sondern es auszumustern und in der Produktbeschreibung zu nennen, welches Fenster es trainiert hat.