Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 3163

 
Ivan Butko #:

Meinung zu dem Versuch, Forex zu lehren, indem man Agenten lehrt, Spiele zu spielen.

Gibt es irgendwelche Fische, die so etwas vielleicht versucht haben, irgendwelche Erfahrungen.
Nun, dies ist ein typisches RL- oder DeepRL- oder Optimierungsproblem
Es ist im Grunde genommen alles das Gleiche, nur anders)
 
Forester #:

Ich bin auf ein anderes Problem gestoßen.
Ich habe eine gute Variante gefunden, bei der einmal pro Woche auf 5000 Zeilen von M5 (3,5 Wochen) trainiert wird. Ich beschloss, alle Daten auf 300 Zeilen zu verschieben - also nicht samstags, sondern dienstags zu trainieren. Infolgedessen wurde das Modell auf OOS von profitabel zu unprofitabel.
Diese neuen 300 Zeilen (etwa 8% der Gesamtmenge) brachten andere Chips und andere Splits hervor, die bei leicht veränderten Daten besser wurden.
Wiederholen Sie die Verschiebung um 300 für 50000 Zeilen. Es scheinen nur 0,8 % der neuen Zeilen zu sein. Aber die Änderungen am OOS sind ebenfalls signifikant, wenn auch nicht so stark wie bei 5000 Zeilen.

Im Allgemeinen gibt es eine Anpassung nicht nur an die Größe des Fensters, sondern auch an den Beginn des Fensters. Kleine Verschiebungen machen einen großen Unterschied im Ergebnis. Es gibt keine eindeutigen Merkmale, alles bewegt sich am Rande von 50/50 ± 1-2%.

Dies scheint ein häufiges Problem bei Bäumen zu sein - mangelnde Robustheit.

Es besteht die leise Hoffnung, dass eine Verbesserung möglich ist, wenn man zu aufwändigeren (in Bezug auf Matstat) Splitregeln übergeht. Dies ist so etwas wie die "Differenzbäume", über die ich kürzlich einen Link zu einem Artikel angegeben habe. Oder so etwas wie die CHAID-Chi-Quadrat-Statistik.

Natürlich ist dies kein Allheilmittel, und es ist keine Tatsache, dass diese spezifischen Beispiele von Aufteilungsregeln für uns überhaupt funktionieren werden. Aber es ist ein Beispiel dafür, dass man mit Aufteilungsregeln kreativ umgehen kann und sollte.

Der Hauptgedanke, der aus der Matstat zu entnehmen ist, besteht darin, das Wachstum des Baums zu stoppen, wenn ein kritischer p-Wert erreicht wird, und nicht aus irgendwelchen linksgerichteten Gründen.
 
Forester #:

Ich bin auf ein anderes Problem gestoßen.
Ich habe eine gute Variante gefunden, bei der einmal pro Woche auf 5000 Zeilen von M5 (3,5 Wochen) trainiert wird. Ich beschloss, alle Daten auf 300 Zeilen zu verschieben - also nicht samstags, sondern dienstags zu trainieren. Infolgedessen wurde das Modell auf OOS von profitabel zu unprofitabel.
Diese neuen 300 Zeilen (etwa 8% der Gesamtmenge) brachten andere Chips und andere Splits hervor, die bei leicht veränderten Daten besser wurden.
Wiederholen Sie die Verschiebung um 300 für 50000 Zeilen. Es scheinen nur 0,8 % der neuen Zeilen zu sein. Aber die Änderungen am OOS sind ebenfalls signifikant, wenn auch nicht so stark wie bei 5000 Zeilen.

Im Allgemeinen gibt es eine Anpassung nicht nur an die Größe des Fensters, sondern auch an den Beginn des Fensters. Kleine Verschiebungen machen einen großen Unterschied im Ergebnis. Es gibt keine eindeutigen Merkmale, alles bewegt sich am Rande von 50/50 ± 1-2 %.

Welches Modell?

 
СанСаныч Фоменко #:

Welches Modell?

Holz
 
Forester #:
Holz
Sie müssen einen Kernsatz finden, der ein Muster aufweist, und nur darauf trainieren. Es kann sich um einen beliebigen Teil des Graphen handeln, der durch Überschwingen gefunden werden kann. Andernfalls erlaubt das Rauschen dem Modell nicht, sich zu konzentrieren. Der Trend geht jetzt zu Coresets - kleinen repräsentativen Teilstichproben. Das ist recht einfach und liefert gute Ergebnisse.
 

Interessanter Artikel über Bäume und Verstärkungslernen auf.....

https://www.ncbi.nlm.nih.gov/pmc/articles/PMC4760114/

============================

Hauptgedanke

2.2 Motivation

Kurz gesagt handelt es sich bei dem vorgeschlagenen Reinforcement Learning Tree (RLT)-Modell um ein traditionelles Random-Forest-Modell mit einer besonderen Art der Auswahl von Trennvariablen und der Unterdrückung von Rauschvariablen. Diese Eigenschaften werden durch die Implementierung des Reinforcement Learning-Mechanismus an jedem internen Knoten verfügbar gemacht.Betrachten wir zunächst ein Schachbrett-Beispiel, das die Auswirkungen des verstärkenden Lernens veranschaulicht: Nehmen wir an, dass X ~ uni f [ 0, 1 ] p und E ( Y | X ) = I { I ( I ( X (1) 0 ,5) = I ( X (2) >0 ,5)} Die Schwierigkeit bei der Schätzung dieser Struktur mit den üblichen Random Forests besteht darin, dass keine der beiden starken Variablen unbedeutende Effekte aufweist.Die unmittelbare Belohnung, d. h. die Verringerung der Vorhersagefehler, durch die Partitionierung in diese beiden Variablen ist asymptotisch identisch mit der Belohnung, die durch die Partitionierung in eine der Rauschvariablen erzielt wird. Wenn p relativ groß ist, ist es daher unwahrscheinlich, dass entweder X (1) oder X (2) als Trennungsvariable gewählt wird .Wenn wir jedoch im Voraus wissen, dass die Aufteilung auf X (1) oder X (2) bedeutende zukünftige Vorteile für spätere Aufteilungen bringen wird, können wir getrost eine Aufteilung auf eine der beiden Variablen erzwingen, unabhängig von den unmittelbaren Belohnungen.

=========================

Nun, und das entsprechende Paket in R

https://cran.r-project.org/web/packages/RLT/RLT.pdf

Reinforcement Learning Trees
Reinforcement Learning Trees
  • www.ncbi.nlm.nih.gov
In this paper, we introduce a new type of tree-based method, reinforcement learning trees (RLT), which exhibits significantly improved performance over traditional methods such as random forests (Breiman, 2001) under high-dimensional settings. The innovations are three-fold. First, the new method implements reinforcement learning at each...
 
Forester #:
Holz

Wie lautet der genaue Name? Oder ist es selbstgebaut?

Ich benutze seit vielen Jahren verschiedene "hölzerne" Modelle und habe so etwas noch nie gesehen.

 
mytarmailS #: Wenn wir jedoch im Voraus wissen, dass eine Aufteilung auf X (1) oder X (2 ) erhebliche künftige Vorteile für spätere Aufteilungen mit sich bringt, können wir getrost eine Aufteilung auf eine beliebige Variable erzwingen, unabhängig von den unmittelbaren Vorteilen.

Ich kann es erzwingen, aber ich weiß nicht, mit welchem Fiche man X1, X2 oder X157

 
СанСаныч Фоменко #:

Wie lautet der genaue Name? Oder ist er selbst gemacht?

Ich benutze seit vielen Jahren verschiedene "hölzerne" Modelle und habe so etwas noch nie gesehen.

Selbstgebaut. Die Möglichkeiten für Experimente sind nicht begrenzt....
 
Maxim Dmitrievsky #:
Sie müssen einen Kernsatz finden, der ein Muster aufweist, und nur auf diesem trainieren. Es kann ein beliebiger Teil des Graphen sein, er wird durch Aufzählung gesucht. Andernfalls erlaubt das Rauschen dem Modell nicht, sich zu konzentrieren. Der Trend geht jetzt zu Coresets - kleinen repräsentativen Teilstichproben. Das ist ziemlich einfach und bringt gute Ergebnisse.

Wie wird gesucht? Gehen Sie durch alle Chunks (z.B. 100 mal 5000 pp) und schauen Sie, wie erfolgreich die anderen 500.000 Zeilen dieses Modells die anderen 500.000 Zeilen vorhersagen?

Grund der Beschwerde: