Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 2648

 
Aleksey Nikolayev #:

Ich denke, dass die Frage, was mit den identifizierten Boxen zu tun ist, komplex ist und kaum klare, eindeutige Regeln für alle möglichen Fälle hat. Ein guter, gut durchdachter Algorithmus ist wahrscheinlich ein ziemlich geheimes "Know-how").

Wenn die Fälle auf der gleichen Menge von Prädiktoren basieren, reicht es wahrscheinlich aus, wenn sie sich nicht überschneiden. Wenn es eine Überschneidung gibt, kann sie einem separaten Feld zugeordnet werden, und ihre Ergänzungen können auf mehrere Felder aufgeteilt werden. Eine zu große Anzahl von Boxen würde die Stichprobe jedoch zu sehr fragmentieren. Daher können wir den Begriff der Box verallgemeinern - in der Sprache der Regeln bedeutet dies, dass wir Negationen und ODER zu UND hinzufügen.

Wenn die Boxen auf der Grundlage völlig unterschiedlicher Prädiktoren gebildet werden (z. B. durch die Random-Forest-Methode), dann können sie sich nur in Bezug auf die Teile der Stichprobe überschneiden, die in sie fallen. Hier sind wahrscheinlich einige portfolionahe Ideen gefragt.

Wenn sich die Prädiktoren teilweise überschneiden, muss es sich um eine Mischung von Ansätzen handeln, was schwer zu sagen ist.

Es ist mir nicht klar, wie dies in ein einheitliches Schema gebracht werden kann. Die Standardmethode zur Konstruktion von Entscheidungsbäumen umgeht diese Probleme einfach und "schön", was sie für unsere Zwecke nicht ganz geeignet macht. Es mag möglich sein, ihn durch die Wahl eines Pruning-Algorithmus zu verbessern, aber meiner Meinung nach ist es besser, den Regelkonstruktionsalgorithmus kreativ zu überarbeiten.

Klügste Schlussfolgerungen...

Standardmäßige Algorithmen haben nur Näherungsregeln, d. h. dumme Regeln wie:

X[1]>0.5 && X[3]> -0.2 &...

Sie haben nur Variablen (Spalten der Matrix oder des Rahmens X1.....X10) und abstrakte Grenzen (Ziffern X[1]>0,5 ), die er selbst im Laufe des Lernprozesses erfindet, um Grenzen in Klassen zu schaffen.

Was ist mit dem trivialen X1 > X2

oder der Negation von X1 !> X2.

Was ist mit X1> (X2*X3)?

Und die Bindung an Indizes, die auf einem nicht-stationären Markt nicht funktioniert?


Ich meine den Ausdruck: Wenn es "A" gab, aber kein "B", dann "C".

Es ist einfach nicht für die Algorithmen out of the box.

Der Algorithmus ist derselbe, er erstellt nur Hunderte von Regeln und betrachtet deren Summe der Klassenwahrscheinlichkeiten. Auf dem Markt geht es um seltene Ereignisse, also müssen wir uns auf die Anzahl der Regeln konzentrieren, nicht auf die Anzahl der Regeln.

 

Ich frage mich, wie der Algorithmus zur Dimensionalitätsreduktion Proben mit unterschiedlichen Datentypen mit und ohne Normalisierung sieht

Ein Beispiel: Es gibt die Datentypen String und Digits.

q1           q2
1    c -1.630015623
2    c  1.781979246
3    b -0.598134088
4    a -0.611477494
5    b -0.347432530
6    b -0.474427356
7    e -1.048827859
.....

Ich konvertiere zunächst q1 in Ziffern.

q1           q2
1    3 -1.630015623
2    3  1.781979246
3    2 -0.598134088
4    1 -0.611477494
5    2 -0.347432530
6    2 -0.474427356
7    5 -1.048827859

.... 

fertig

Jetzt schicken wir es an den UMAP-Algorithmus und erhalten die Eigenvektoren.

                  [,1]         [,2]
    [1,]   6.762433406   9.08787260
    [2,] -21.488330368  10.67183802
    [3,]   6.810413818   9.35273386
    [4,] -20.950310976  15.20258097
    [5,]  32.100723691  -9.74704393
    [6,]   6.892939805  16.84639975
    [7,] -17.096480607  -6.63144430

Visualisierung der Punkte

Schöne Würmer haben wir bekommen ))

Versuchen wir, die Punkte mit der Variablen q1 zu färben.


Wie wir sehen können, schafft die Variable q1 die Struktur dieser Würmer, sie zieht die Bedeutung auf sich selbst und reduziert den Beitrag der Variable q2.

Das liegt daran, dass die Variable q1 große Werte hat und die Daten nicht normalisiert sind.

Wenn wir die Daten normalisieren, wird jede Variable den gleichen Beitrag leisten und wir erhalten

Ich verstehe, dass dies für einige Teilnehmer eine offensichtliche Sache ist, wir müssen normalisieren blah blah blah blah,

aber haben Sie schon einmal daran gedacht, dass Sie die Clusterbildung steuern können, indem Sie den Beitrag der Variablen erhöhen oder verringern?

 
mytarmailS #:

die Punkte zu visualisieren


Sieht aus wie Parasiten :)

 
mytarmailS #:

Aber haben Sie schon einmal daran gedacht, dass man die Clusterbildung kontrollieren kann, indem man den Beitrag der Variablen erhöht oder senkt?

Ja, indem man die Bedeutung absichtlich über- oder unterschätzt.
Aber das ist eine Kunst, es ist schwer zu analysieren.
Die Situation wird durch die Nicht-Stationarität der Preise noch verschärft. Ich habe lange Zeit mit den Vorzeichen gekämpft: Wenn man die Skala oder die Normalisierung ändert, verändern sich die Eigenschaften des trainierten Modells.
 
Maxim Dmitrievsky #:
Mit nicht-stationären Preisen befinde ich mich schon lange im Krieg mit den Zeichen.
Wir alle kämpfen dagegen an.
 
mytarmailS zur Dimensionalitätsreduktion Proben mit unterschiedlichen Datentypen mit und ohne Normalisierung sieht

Es gibt zum Beispiel die Typen Daten, Zeichenkette und Ziffer.

Ich konvertiere zunächst q1 in Ziffern

Es ist besser, Strings in kategorische Form zu konvertieren als in numerische. Natürlich nur, wenn Ihr UMAP sie verarbeiten kann.

a=1 ist nicht 5 mal anders als e=5. Sie sind einfach unterschiedlich, wie warm und weich. Und durch die Digitalisierung sind sie immer wärmer geworden.

 
elibrarius #:

a=1 ist nicht fünfmal anders als e=5. Sie sind einfach anders,

Hmm, ja, du hast völlig recht, ich war dumm.

Man muss eine heiße Umrechnung machen oder so.
 
Aleksey Nikolayev #:

Ich denke, dass die Frage, was mit den identifizierten Boxen zu tun ist, komplex ist und kaum klare, eindeutige Regeln für alle möglichen Fälle hat. Ein guter, gut durchdachter Algorithmus ist wahrscheinlich ein ziemlich geheimes "Know-how").

Wenn die Fälle auf der gleichen Menge von Prädiktoren basieren, reicht es wahrscheinlich aus, wenn sie sich nicht überschneiden. Wenn es eine Überschneidung gibt, kann sie einem separaten Feld zugeordnet werden, und ihre Ergänzungen können auf mehrere Felder aufgeteilt werden. Eine zu große Anzahl von Boxen würde die Stichprobe jedoch zu sehr fragmentieren. Daher können wir den Begriff der Box verallgemeinern - in der Sprache der Regeln bedeutet dies, dass wir Negationen und ODER zu UND hinzufügen.

Wenn die Boxen auf der Grundlage völlig unterschiedlicher Prädiktoren gebildet werden (z. B. durch die Random-Forest-Methode), dann können sie sich nur in Bezug auf die Teile der Stichprobe überschneiden, die in sie fallen. Hier sind wahrscheinlich einige portfolionahe Ideen gefragt.

Wenn sich die Prädiktoren teilweise überschneiden, muss es sich um eine Mischung von Ansätzen handeln, was schwer zu sagen ist.

Es ist mir nicht klar, wie dies in ein einheitliches Schema gebracht werden kann. Die Standardmethode zur Konstruktion von Entscheidungsbäumen umgeht diese Probleme einfach und "schön", was sie für unsere Zwecke nicht ganz geeignet macht. Es mag möglich sein, ihn durch die Wahl eines Pruning-Algorithmus zu verbessern, aber meiner Meinung nach ist es besser, den Regelkonstruktionsalgorithmus kreativ zu überarbeiten.

Nun, ohne die Details zu verstehen, ist es schwierig, Änderungen an der Logik vorzunehmen.

Ich persönlich habe nicht verstanden, was die zusätzlichen 2 Koordinaten der Box sind (2 - Quantengrenzen) - ich nahm an, dass es sich dabei um ein Sample-Trimming handelt.

Ich suche nur nach etwas Nützlichem, um meine Methode zu entwickeln. Ich habe auch das Kleben von "Boxen" - aber der Algorithmus ist nicht perfekt.

 
Aleksey Vyazmikin #:

Ohne die Details zu verstehen, ist es schwierig, Änderungen an der Logik vorzunehmen.

Ich persönlich habe nicht verstanden, was die zusätzlichen 2 Koordinaten der Box sind (2 - Quantengrenzen) - ich nahm an, dass es eine Probe Trimmen war.

Ich suche nur nach etwas Nützlichem, um meine Methode zu entwickeln. Ich habe auch das Kleben von "Boxen" - aber der Algorithmus ist nicht perfekt.

Wenn Sie speziell über PRIM sprechen, dann hat mein Link gerade ein Beispiel dafür gegeben, wie es für zwei Prädiktoren x1 und x2 funktioniert. Demnach wird eine Box der Form (a1<x1<b1)&(a2<x2<b2) ausgewählt. Was außerhalb der Box liegt, wird offenbar als zu einer anderen Klasse gehörig betrachtet als das, was innerhalb der Box liegt. Es wurde versucht, anhand eines einfachen Beispiels das Wesen des Algorithmus zu verdeutlichen- bei jedem Schritt wird ein kleines Stück (Peeling) aus der Box abgesch nitten.Welches Stück abgeschnitten wird und mit welchem Prädiktor, hängt von der Optimalitätsbedingung des "Trajektionsschritts" ab.

Ich interessierte mich für diesen Algorithmus als Beispiel dafür, wie ein Standardalgorithmus zur Erstellung von Regeln (für einen Lösungsbaum) an die eigenen Bedürfnisse angepasst werden kann und sollte.

 
Aleksey Nikolayev #:

Wenn Sie sich speziell auf PRIM beziehen, habe ich in meinem Link gerade ein Beispiel für die Funktionsweise bei zwei Prädiktoren x1 und x2 gegeben. Demnach wird eine Box der Form (a1<x1<b1)&(a2<x2<b2) ausgewählt. Was außerhalb der Box liegt, wird offenbar als zu einer anderen Klasse gehörig betrachtet als das, was innerhalb der Box liegt. Es wurde versucht, anhand eines einfachen Beispiels das Wesen des Algorithmus zu verdeutlichen- bei jedem Schritt wird ein kleines Stück (Peeling) aus der Box abgesch nitten.Welches Stück abgeschnitten wird und mit welchem Prädiktor, hängt von der Optimalitätsbedingung des "Trajektionsschritts" ab.

Ich interessierte mich für diesen Algorithmus als Beispiel dafür, wie ein Standardalgorithmus zur Erstellung von Regeln (für einen Lösungsbaum) an die eigenen Bedürfnisse angepasst werden kann und sollte.

Es ist gut, dass Sie es herausgefunden haben - ich habe es zuerst nicht verstanden, danke für die Klarstellung.

Aber dann stellt sich heraus, dass der Algorithmus in der ersten Phase Paare von Prädiktoren finden sollte, die sich besser in Kästchen aufteilen lassen, und dann "Peeling" auf sie anwenden sollte.

Grund der Beschwerde: