Diskussion zum Artikel "Der Algorithmus CatBoost von Yandex für das maschinelle Lernen, Kenntnisse von Python- oder R sind nicht erforderlich" - Seite 3
Sie verpassen Handelsmöglichkeiten:
- Freie Handelsapplikationen
- Über 8.000 Signale zum Kopieren
- Wirtschaftsnachrichten für die Lage an den Finanzmärkte
Registrierung
Einloggen
Sie stimmen der Website-Richtlinie und den Nutzungsbedingungen zu.
Wenn Sie kein Benutzerkonto haben, registrieren Sie sich
Versuchen Sie, dasselbe Experiment zu wiederholen, indem Sie der Trainingsstichprobe lediglich ein oder zwei weitere Monate hinzufügen, und vergleichen Sie dann die beiden Tests. Ob das neuronale Netz stabil bleibt, welchen Einfluss neuere Kursbewegungen auf dieses Modell haben...
Vorsicht - es handelt sich nicht um ein neuronales Netz, sondern um Gradient Bousting - ein ganz anderer Ansatz, um ein Muster zu finden, obwohl beides Methoden des maschinellen Lernens sind.
Ich bin überzeugt, dass die Daten für kurze Stichproben knapp sind, aber ich trainiere jetzt Stichproben, um die Neugierde der Leser zu befriedigen:
1. ein Jahresfenster mit unterschiedlicher Anzahl von Bäumen - vergleichen wir das Ergebnis. (es wird keine Kontrollstichprobe verwendet)
2. 3-Jahres-Fenster mit unterschiedlicher Anzahl von Bäumen - vergleichen Sie das Ergebnis. (es wird keine Kontrollstichprobe verwendet)
3. Fenster für ein Jahr mit neuen Daten, die jeden Monat hinzugefügt werden, mit unterschiedlicher Anzahl von Bäumen - vergleichen Sie das Ergebnis. (es wird keine Kontrollstichprobe verwendet)
Sie müssen warten, bis der Berechnungsprozess abgeschlossen ist - es werden viele Modelle erstellt.
Kommen wir von Abstraktionen zu Zahlen. Wie viel wird ein kleines Fenster bewirken?
Der Punkt ist, dass Sie vorschlagen, den Marktbedingungen hinterher zu springen, während ich vorschlage, das Wissen über verschiedene Marktbedingungen zu nutzen. Je mehr Wissen sich auf die Geschichte stützt, desto langsamer werden sich die darauf aufbauenden Muster ändern.
Und wie definieren Sie dann die Hyperparameter für eine kleine Stichprobe - wie viele Trainingsiterationen sollten es mindestens sein? Ich habe überall dasselbe gesagt.Die Breite sollte mindestens so groß sein wie die Breite der stabilen Zustände, bei denen man einen Gewinn erzielen kann. Ich schlage das nicht vor, mir ist klar, dass das heute schwierig ist. Der Gedanke aus den Bestimmungen, dass Lernen auf stabilen Zuständen produktiv ist. Das heißt, das Ergebnis des Trainings auf einem stabilen BP-Zustand wird besser sein als auf der gleichen Menge von Daten, aber der BP-Zustand wird aus mehreren Segmenten verschiedener stabiler Zustände bestehen.
Die Breite sollte mindestens so groß sein wie die Breite der stabilen Staaten, von denen Sie profitieren können. Ich schlage das nicht vor, ich weiß, dass das heute schwierig ist. Der Gedanke hinter den Klauseln ist, dass das Lernen in stabilen Zuständen effizient ist. Das heißt, das Ergebnis des Trainings auf einem stabilen BP-Zustand wird besser sein als auf der gleichen Menge von Daten, aber der BP-Zustand wird aus mehreren Segmenten verschiedener stabiler Zustände bestehen.
Daher können wir die optimale Breite erst herausfinden, wenn wir einen neuen Marktzustand erkennen können.
In diesem Artikel werden keine Zeitreihen in ihrer reinen Form verwendet, da die Datenerfassung auf einem bestimmten Marktzustand basiert und zwischen den Zuständen eine unterschiedliche Anzahl von Balken liegt.
Vorsicht - es handelt sich nicht um ein neuronales Netz, sondern um Gradient Bousting - ein ganz anderer Ansatz, um ein Muster zu finden, obwohl beides Methoden des maschinellen Lernens sind.
Ich bin überzeugt, dass die Daten für kurze Stichproben knapp sind, aber ich trainiere jetzt Stichproben, um die Neugier der Leser zu befriedigen:
1. ein Jahresfenster mit unterschiedlicher Anzahl von Bäumen - vergleichen wir das Ergebnis. (es wird keine Kontrollstichprobe verwendet)
2. 3-Jahres-Fenster mit unterschiedlicher Anzahl von Bäumen - vergleichen Sie das Ergebnis. (es wird keine Kontrollstichprobe verwendet)
3. Fenster für ein Jahr mit neuen Daten, die jeden Monat hinzugefügt werden, mit unterschiedlicher Anzahl von Bäumen - vergleichen Sie das Ergebnis. (es wird keine Kontrollstichprobe verwendet)
Wir müssen abwarten, bis der Berechnungsprozess abgeschlossen ist - es werden viele Modelle erstellt.
Das ist richtig... Die interessante Frage, die sich mir stellt, lautet: Kann Gradient Bousting dazu verwendet werden, nach Mustern zu suchen, anhand derer Daten für das Training eines neuronalen Netzes ausgewählt werden können? Das ist das Problem, eine Lösung für die Absicherung von Geschäften mit neuronalen Netzen zu finden, die auf verschiedenen Marktmustern trainiert wurden...
Das ist richtig... Für mich stellt sich die interessante Frage, ob Gradient Bousting verwendet werden kann, um nach Mustern zu suchen, anhand derer Daten für das Training eines neuronalen Netzes ausgewählt werden können. Das ist das Problem, eine Lösung für die Absicherung von Geschäften mit neuronalen Netzen zu finden, die auf verschiedenen Marktmustern trainiert wurden...
Wie wollen Sie eine Antwort auf diese Frage finden, ohne mit neuronalen Netzen an einer Stichprobe zu experimentieren?
Wir können die Leistung der Prädiktoren im Laufe der Zeit schätzen, z. B. den Prozentsatz der Schließungen von "etwas da draußen" - Sie können auf dem Diagramm sehen, dass die Verzerrung über die Zeilen variiert (jede Zeile N Zeilen der Stichprobe) - und wenn wir 1/10 der Stichprobe nehmen, werden wir nicht genug Informationen haben, wenn der Indikator seitwärts bewegt (zum Beispiel hängt es von der globalen Trend auf der oberen TF).
Die Abbildung zeigt übrigens, wie die Daten in Form eines SatBoost-Gitters partitioniert (quantisiert) werden.Jetzt ist die erste Version fertig:
1. Fenster für ein Jahr mit unterschiedlicher Anzahl von Bäumen - wir wollen das Ergebnis vergleichen. (es wird keine Kontrollstichprobe verwendet)
400 Bäume sind nicht genug und 1600 sind zu viel.
Die Dynamik der Kurven ist ähnlich, haben Sie eine Idee, warum?
Der erste Entwurf ist jetzt fertig:
1. Fenster für ein Jahr mit unterschiedlicher Anzahl von Bäumen - wir wollen das Ergebnis vergleichen. (es wird keine Kontrollstichprobe verwendet)
400 Bäume sind zu wenig und 1600 sind zu viel.
Die Dynamik der Kurven ist ähnlich, haben Sie eine Idee, warum?
200 sind nicht genug Informationen, und bei 1600 gibt es einen Informationsverlust, oder es werden keine wichtigen Informationen identifiziert.
200 fehlen Informationen, und 1600 gehen Informationen verloren, oder es werden wichtige Informationen nicht erkannt.
Die Informationen sind beim Training immer gleich, aber die Speichergröße für die Erinnerung an die Bedingungen ist unterschiedlich. Ich denke, dass die Ähnlichkeit der Bäume in den ersten zehn Jahren die grundlegende Logik des Verhaltens des Modells bestimmt, und im weiteren Verlauf gibt es nur noch eine Verbesserung, weshalb die Kurven in ihren Brüchen ähnlich sind.
2.Fenster für Jahr 3 mit unterschiedlicher Anzahl von Bäumen - Vergleich des Ergebnisses. (es wird keine Kontrollstichprobe verwendet)
Auch hier zeigt sich, dass 800 Iterationen optimal sind, so dass ich bei der dritten Variante nicht mehr gemacht habe. Was verwirrend ist, ist der starke Ausfall im März 2020 - ob es sich um die Auswirkungen der Krise außerhalb des Modells oder um einen Stichprobenfehler handelt - ich habe das Training beim Kleben durchgeführt, und es könnte eine Lücke aufgrund des Übergangs zu einem neuen Terminkontrakt geben, was im wirklichen Leben nicht passiert ist. Positiv zu vermerken ist, dass der Lerneffekt deutlich besser ist als bei 12 Monaten (siehe diesen Zeitraum im letzten Diagramm!), was gut zu sehen ist und erneut zeigt, dass 12 Monate nicht die gesamte Variabilität des Marktes abdecken.
3. Fenster für ein Jahr mit neuen Daten, die jeden Monat mit einer anderen Anzahl von Bäumen hinzugefügt werden - vergleichen wir das Ergebnis.(es wird keine Kontrollstichprobe verwendet)
Die Abbildung zeigt, dass das Wachstum des Modells aus 400 Iterationen schneller oder gleichmäßig war, aber mit zunehmendem Stichprobenumfang änderte sich der Trend und das Modell aus 800 Iterationen begann, mit weniger Fehlern und besserem Monatsabschluss davonzuziehen. Offensichtlich müssen wir hier die Modellgröße dynamisch erhöhen.
Aus dieser Studie können wir schließen, dass die in dem Artikel beschriebene Methode und das erzielte Ergebnis kein Zufall sind.
Ja, ich stimme zu, dass es signifikante Veränderungen im Preisverhalten gibt und sich das alte Verhalten nicht wiederholt, und dementsprechend wird eine Stichprobe über einen großen Zeitraum verhindern, dass man mit den neuen Daten Geld verdient. Die Identifizierung von Schwankungen im Preisverhalten bei einem Modell ist Gegenstand weiterer Forschung, aber ich ziehe es vor, so viele Preisinformationen wie möglich zu verwenden, auch wenn sie etwas veraltet sind.
Die folgende Abbildung gibt Aufschluss über den Rückruf - das blaue Histogramm zeigt die Modelle mit Stichprobenakkumulation und das rote Histogramm die Modelle mit einem festen Zeitfenster von 12 Monaten.
Es ist zu erkennen, dass die 12-Monats-Modelle versuchten, sich an die aktuelle Marktsituation anzupassen und in einer Reihe von Perioden mit geringer Volatilität mehr Rückrufe hatten, während die Modelle mit Akkumulation explizit im Jahr 2020 die Erfahrung der erhöhten Volatilität in den Jahren 2014-2016 nutzten und in der Lage waren, starke Bewegungen während der Krise 2020 zu erkennen.