Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 3170
Sie verpassen Handelsmöglichkeiten:
- Freie Handelsapplikationen
- Über 8.000 Signale zum Kopieren
- Wirtschaftsnachrichten für die Lage an den Finanzmärkte
Registrierung
Einloggen
Sie stimmen der Website-Richtlinie und den Nutzungsbedingungen zu.
Wenn Sie kein Benutzerkonto haben, registrieren Sie sich
Das ist das Bild, das fast jeder Nutzer des Testers sieht. Ich bin an der Erklärung interessiert.
In diesem Bild ist die statistische Signifikanz ziemlich hoch: mehr als 3000 nicht überlappende Positionen.
Ich vermute, dass dies auf Marktveränderungen innerhalb der Stichprobe selbst zurückzuführen ist. Zum Beispiel hatte die Stichprobe am Anfang ein echtes Muster und dann nichts mehr. Aber die Anpassung erfolgte für die gesamte Stichprobe.
Wir sollten solche Zusammenbrüche innerhalb der Stichprobe irgendwie vermeiden.
Es kann auch der umgekehrte Effekt auftreten: links OOS - unten, rechts - oben. D.h. es wurde kein Muster im Ausgangsstück des Samples gefunden, sondern nur passend.
Übertraining oder Nicht-Stationarität, nehme ich an. Es sei denn, es gibt Probleme mit den Rohdaten oder dem Algorithmus selbst.
Normalerweise versuche ich, das Problem ein wenig zu "verschieben" - alle möglichen Parameter (und verfügbaren Metaparameter) leicht zu ändern und zu sehen, wie sich das Ergebnis ändert. Manchmal wird es dann ein bisschen klarer.
Forum über Handel, automatisierte Handelssysteme und das Testen von Handelsstrategien.
Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading
fxsaber, 2023.08.16 11:38 AM
Das ist der Unsinn, der hier passiert. Auf der linken Seite geht OOS, auf der rechten - nicht. Und die rechte Seite buchstäblich sofort "taucht".
Kannst du sehen, dass OOS links vorbeigeht?
Sehen Sie, dass das OOS auf der linken Seite durchgeht?
Duplizieren Sie das Experiment vollständig, aber mit synthetischen Daten.
======================================
Das OOS auf der linken Seite ist ebenfalls eine Anpassung, aber von einer Art zweiter Ordnung
Stellen Sie sich vor, Sie haben nur 1000 Varianten von TC.
Ihre Schritte 1 und 2
1) Sie beginnen mit der Optimierung/Suche nach einem guten TS, das sind die Zugdaten (Anpassung/Suche/Optimierung).
Nehmen wir an, Sie haben 300 Varianten gefunden, bei denen der TK Geld einbringt...
2) Nun suchen Sie aus diesen 300 Varianten einen TC, der die OOS-Testdaten besteht. Sie haben sagen wir 10 TK gefunden, die sowohl in der Ausbildung als auch im Test Geld verdienen ( OOS ).
Was ist also Punkt 2?
Es ist die gleiche Fortsetzung der Anpassung, nur dass Ihre Suche(Anpassung/Suche/Optimierung) ein wenig tiefer oder komplexer geworden ist, weil Sie jetzt nicht mehr nur eine Optimierungsbedingung haben (Praktikum bestehen), sondern zwei (Test bestehen + Praktikumbestehen).
Das ist das Bild, das fast jeder Nutzer des Testers sieht. Ich bin an der Erklärung interessiert.
In diesem Bild ist die statistische Signifikanz ziemlich hoch: mehr als 3000 nicht überlappende Positionen.
Ich vermute, dass dies auf Marktveränderungen innerhalb der Stichprobe selbst zurückzuführen ist. Zum Beispiel hatte die Stichprobe am Anfang ein echtes Muster und dann nichts mehr. Aber die Anpassung erfolgte für die gesamte Stichprobe.
Wir sollten solche Zusammenbrüche innerhalb der Stichprobe irgendwie vermeiden.
Es kann auch der umgekehrte Effekt auftreten: links OOS - unten, rechts - oben. D.h. es wurde kein Muster im Ausgangsstück des Samples gefunden, sondern nur passend.
OOS sollte immer nach RECHTS sein.
Wenn das OOS nach LINKS zeigt, gibt es keine Möglichkeit zu garantieren, dass der TC NICHT übertrainiert ist und NICHT nach vorne schaut. Dies sind die ersten wichtigen Punkte, die beim Testen eines TC VOR allem anderen zu beachten sind.
Welches Modell haben Sie? Das macht keinen Unterschied! Es spielt keine Rolle, ob es einer von beiden oder beide sind. Sie müssen richtig testen und basta - OOS auf der rechten Seite.
Und es ist besser, den Tester zu vergessen und Dateien zum Testen wie folgt zu erstellen:
Wir haben zwei Dateien.
Die erste Datei ist nach dem Zufallsprinzip in drei Teile unterteilt: Training, Test und Validierung. Untersuchen Sie eine (zufällige) Trainingsstichprobe, dann eine zufällige Test- und Validierungsstichprobe - dies sind alles UNTERSCHIEDLICHE Teile der ersten Datei. Vergleichen Sie das Ergebnis. Wenn sie annähernd gleich sind, prüfen Sie die zweite "natürliche Sequenz"-Datei. Wenn sie auch hier annähernd gleich sind, erhalten wir die wichtigste Schlussfolgerung: Unser TC ist NICHT übertrainiert und schaut NICHT voraus. Erst mit dieser Schlussfolgerung macht es Sinn, über alles andere zu sprechen: Genauigkeit, Rentabilität und andere Dinge, die alle SEKUNDÄR sind.
Ich stelle fest, dass es eigentlich keine anderen Möglichkeiten gibt, vorausschauendes Verhalten und Umschulung zu überprüfen.
Das ist die Art von Dingen, die passieren. Auf der linken Seite passiert OOS, auf der rechten - nicht. Und auf der rechten Seite, es buchstäblich "taucht" sofort.
Das passiert die meiste Zeit.
D.h. buchstäblich sofort signifikantes Abtauchen. Die Art des Tauchgangs ist nicht klar. Ich denke, es sollte etwas in der Nähe von SB sein, aber ich sehe ein solches Bild zu oft.
Es kommt mir so vor, als ob man nach der Optimierung einen invertierten TC laufen lässt, der vielleicht nicht einmal abfließt.
P-Hacking (oder Data-Dredging) ist eine statistische Praxis, bei der ein Forscher Daten analysiert, bis er ein statistisch signifikantes Ergebnis findet. Er oder sie kann die Parameter der Analyse ändern, nur bestimmte Daten auswählen oder mehrere Vergleiche durchführen, um signifikante Beziehungen oder Unterschiede in den Daten zu finden. Dies kann zu falsch positiven Ergebnissen führen und wissenschaftliche Schlussfolgerungen verzerren. P-Hacking ist eine Form der wissenschaftlichen Unredlichkeit und kann zu falschen Empfehlungen und Entscheidungen führen, die auf falschen Voraussetzungen beruhen.
Sehen Sie, wie das OOS auf der linken Seite durchläuft?
Wenn der Trainingszeitraum verkürzt wird, tritt dann die Trendumkehr im Chart genauso schnell ein?
Ich weiß nicht viel über Tick-Strategien, aber einer der Faktoren für dieses Verhalten ist der Mangel an vergleichbaren Daten während des Trainings, z.B. - das Training war meist abwärts gerichtet auf einigen TF.
Ich weiß nicht, welche Trainingsmethode Sie verwenden, aber wenn es sich um Baumsysteme oder Filter handelt, die nur den Bereich eines bedingten Indikators (Funktion) einschränken, lohnt es sich, die Anzahl der Beispiele zu schätzen, die in jeden dieser Bereiche fallen.
Eine mögliche Situation ist die Datendrift und eine Verschiebung der Wahrscheinlichkeitsverteilung für das Ergebnis des Filters/der Liste.
Wenn ich z. B. in einer Stichprobe Quantensegmente für das Training auswähle und dann ihre Verteilung (Prozentsatz der richtigen und falschen Antworten auf das Ziel 0||1) in zwei anderen Stichproben schätze, dann liegt die Erfüllung des Stabilitätskriteriums in drei Stichproben im Bereich von 25 % bis 30 % - es ist klar, dass das Modell in diesem Fall mehr Chancen hat, einen instabilen Prädiktor zu wählen, der auf einer der Seiten nicht mehr funktioniert.
Letztendlich läuft alles darauf hinaus, einfache Regelmäßigkeiten zu analysieren, d. h. nach Gründen zu suchen, sie als solche zu betrachten, und nicht als zufällige Beobachtung eines Kometenschweifs in einem Teleskop.
Sehen Sie, wie das OOS auf der linken Seite durchläuft?
Wie lange bleibt das System profitabel?
Ich habe ein ähnliches Verhalten des Systems, wenn auf der OOS auf der rechten Seite gibt es eine scharfe Pflaume, ich glaube nicht, dass es direkt mit einer scharfen 180-Grad-Umkehr der gefundenen Markt-Muster verbunden ist (es würde die Gründe der mystischen Natur, die Anwendung von Voodoo-Praktiken und im Allgemeinen alles eher als irgendwelche realen Probleme wie Umschulung oder Anpassung, denn es ist zumindest seltsam, wenn eine scharfe Pflaume immer nach dem Ende der Ausbildung passiert) anzuzeigen. Normalerweise liegt es an einigen Fehlern im Code, die, wie Max oben sagte, falsch-positive (oder falsch-negative) Ergebnisse verursachen, deren Korrektur im schlimmsten Fall zu einem zufälligen Verhalten auf der OOS-Rechtsseite (Übertraining) oder im besten Fall zu einem allmählichen Verblassen der Rentabilität (Verblassen der gefundenen Muster und/oder deren allmähliche Veränderung) führt.
Wie lange bleibt das System rentabel?
Ich habe ein ähnliches Verhalten des Systems, wenn auf OOS auf der rechten Seite gibt es einen scharfen Sturz, ich glaube nicht, dass es direkt mit einer scharfen 180-Grad-Umkehr der gefundenen Markt-Muster verbunden ist (es würde Gründe der mystischen Natur, Anwendung von Voodoo-Praktiken und im Allgemeinen alles eher als irgendwelche realen Probleme wie Umschulung oder Anpassung, weil es zumindest seltsam ist, wenn ein scharfer Sturz immer nach dem Ende der Ausbildung passiert). Normalerweise liegt es an einigen Fehlern im Code, die, wie Max oben sagte, falsch-positive (oder falsch-negative) Ergebnisse verursachen, deren Korrektur im schlimmsten Fall zu einem zufälligen Verhalten auf der OOS-Rechtsseite (Übertraining) oder im besten Fall zu einem allmählichen Verblassen der Rentabilität (Verblassen der gefundenen Muster und/oder deren allmähliche Veränderung) führt.
Und wenn der TS viele Parameter hat oder sehr gut angepasst ist, sind die Einbrüche immer stark. Denn er hat "auf den Punkt" gearbeitet. Eine große Anzahl von Parametern führt zu steigenden Fehlern, sie summieren sich. Wenn man die TS auch nur vergröbert und weniger Parameter macht, ist sie im Tester nicht so schön, aber sie kollabiert sanfter.
Wir können eine Analogie mit einem Pokerspiel beim Martingal geben. Es gibt eine große Anzahl von gescheiterten Positionen. Ersetzen Sie sie durch eine große Anzahl von fehlgeschlagenen Parametern oder etwas anderes. Das Ergebnis ist das gleiche.Ich fügte die Visualisierung von Diagrammen zu Test- und Prüfungsunterstichproben hinzu und schnitt den Zug ab - entfernte das Anfangsstück, damit die Bilder kompatibel sind.
Tatsächlich handelt es sich um zeitlich aufeinander folgende Abschnitte von Zug->Test->Prüfung.
Wenn man sich das Gif ansieht, wird deutlich, dass die Test- und Prüfungsproben die Amplitude der Schwingung eher verringert haben, als dass sich ein Trend in irgendeine Richtung abzeichnet.
Wenn man jedoch genau hinschaut, kann man sehen, dass es bei einigen Iterationen eine Verbesserung bei diesen Stichproben gibt, d.h. wir können davon ausgehen, dass dies die Regeln (in Form von Quantensegmenten) sind, die bei verschiedenen Stichproben Stabilität zeigen. Es kann auch festgestellt werden, dass sich verschiedene Abschnitte von Iteration zu Iteration unterschiedlich verändern, d.h. die Verbesserung im Test hat keine direkte Korrelation mit der Verbesserung in der Prüfung.
Wie ich bereits oben geschrieben habe, erklärt sich dies durch die Veränderung der Wahrscheinlichkeit, zu einer Klasse eines einzelnen Quantensegments zu gehören.
Die Quantensegmente selbst, als Signal zum Überspringen des Zielsignals, d.h. um es auf Null zu bringen, oder mit anderen Worten, um die Stichprobe in zwei Teile zu teilen, werden entsprechend ihrer Kostenabschätzung ausgewählt. Das heißt, die Kosten für die Reduzierung fehlerhafter Signale werden geschätzt. Bei jeder Iteration wird die Neuberechnung durchgeführt, und die Variante mit dem niedrigsten Preis wird entfernt.
Hier sehen Sie, wie sich der Preis entsprechend einer der Berechnungsmethoden ändert. Unten sehen Sie eine Grafik, in der jeder Punkt ein Quantensegment darstellt (Achse x ist eine Sequenznummer).
Ändert sich das Ergebnis bei Test-/Prüfungsproben erheblich, wenn der Preis bei der ersten Iteration zufällig gewählt wird?
Zwischen den Iterationen 4 und 5 können wir sehen, wie die Testteilstichprobe die Anzahl der richtigen Antworten des Ziels dramatisch verliert, was sofort zu einer Divergenz (Delta steigt) mit der Prüfungsstichprobe führt.