Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 393

 
Mihail Marchukajtes:
Hallo zusammen!!!! Ich bin froh, dass dieser Thread nicht tot ist und immer noch lebt, deshalb habe ich eine Frage an die Öffentlichkeit. Ich habe einen Datensatz für das Training, aber leider ist er so groß geworden, dass das Training zu lange dauert. Kann jemand ein Modell mit seinen eigenen Erfahrungen bauen und dann sehen wir, wie es zusammen funktioniert!!!!!.

Versuchen Sie, die Eingaben zu verlassen (in der Reihenfolge von 0, 0 ist die 1. Spalte)

0,4,50,53,59,61,64,92,98,101,104,

Dateien:
 

Ich konnte den abgeschnittenen Teil des Datensatzes berechnen, das ist das Ergebnis des Out-of-Sample-Netzwerks, aber ich musste das Modell vollständig spiegeln.

Dies ist die Arbeit vom 29.05. und ich denke, sie ist ziemlich gut.


 
elibrarius:

Versuchen Sie, die Eingaben zu belassen (in der Reihenfolge von 0, 0 ist die 1. Spalte)

0,4,50,53,59,61,64,92,98,101,104,


Der Vorteil des Optimierers ist, dass er unnötige Spalten entfernt. Deshalb dauert es auch so lange. Aber jetzt werde ich versuchen, den gesamten Datensatz zu optimieren, aber mit Ihren Empfehlungen und dann sehen, was das Ergebnis außerhalb der Stichprobe sein wird. ok?
 
Mihail Marchukajtes:

Der Vorteil des Optimierers ist, dass er unnötige Spalten entfernt. Deshalb dauert die Berechnung auch so lange. Aber jetzt werde ich versuchen, den gesamten Datensatz zu optimieren, unter Berücksichtigung Ihrer Empfehlungen und dann sehen, was das Ergebnis außerhalb der Stichprobe sein wird, ok?


Gut gemacht!!! Ich habe mit dem Training begonnen, in Anbetracht der Tatsache, dass es wesentlich weniger Spalten sind, denke ich, dass es schnell gehen wird, ich werde das Ergebnis posten :-)

Das stimmt, die erste Schulung führte zu einer 55%igen Verallgemeinerbarkeit.

 

Seltsamerweise muss das Modell mit diesen Eingaben auch umgekehrt werden, und dann erhält man im gleichen Bereich folgendes Eigenkapital

Sie ist zwar etwas schlechter, kann aber dennoch angewendet werden.

Ich wünschte, wir könnten den gesamten Datensatz mit dem Optimierer bearbeiten. Ich denke, dass dann mehr Säulen ausgewählt worden wären und der Grad der Verallgemeinerung höher gewesen wäre, also die Qualität des Netzes im Nicht-Stichprobenbereich...

 
Mihail Marchukajtes:


Gut gemacht!!! Ich habe mit dem Training begonnen, da die Anzahl der Spalten deutlich reduziert wurde, denke ich, dass es schnell gehen wird, ich werde das Ergebnis posten :-)

Das stimmt, die erste Schulung führte zu einer 55%igen Verallgemeinerbarkeit.

Wie hoch ist die Verallgemeinerbarkeit von 55 %?
Die normale MLP ergibt 11-5-1:
Durchschnittlicher Fehler beim Training (60,0%) plot =0,057 (5,7%) nLearns=2 NGrad=332 NHess=0 NCholesky=0 codResp=2
Mittlerer Fehler bei der Validierung (20,0%) plot =0,038 (3,8%) nLearns=2 NGrad=332 NHess=0 NCholesky=0 codResp=2
Durchschnittlicher Fehler im Test (20,0%) plot =0,023 (2,3%) nLearns=2 NGrad=332 NHess=0 NCholesky=0 codResp=2
 
elibrarius:
Wie hoch ist die Verallgemeinerbarkeit von 55 %?
Konventioneller MLP 11-5-1 ergibt:
Durchschnittlicher Fehler beim Training (60,0%) plot =0,057 (5,7%) nLearns=2 NGrad=332 NHess=0 NCholesky=0 codResp=2
Durchschnittlicher Fehler bei der Validierung (20.0%) Abschnitt =0,038 (3,8%) nLearns=2 NGrad=332 NHess=0 NCholesky=0 codResp=2
Durchschnittlicher Fehler beim Test (20,0%) Abschnitt =0,023 (2,3%) nLearns=2 NGrad=332 NHess=0 NCholesky=0 codResp=2


Ich weiß nicht einmal, was ich antworten soll. Die einzige Möglichkeit ist, ein Beispiel aus dem Bericht zu zitieren. Das Ergebnis der Optimierung kann wie folgt aussehen: Wie man es interpretiert, bleibt jedem selbst überlassen, aber wenn die Optimierung abgeschlossen ist, sieht das Ergebnis wie folgt aus.

* Empfindlichkeit der Verallgemeinerungsfähigkeit: 55.12820512820513%

* Spezifität der Verallgemeinerungsfähigkeit: 55,5045871559633%.

* Verallgemeinerungsfähigkeit: 55,309734513274336%

* TruePositives: 129

* FalschePositive: 105

* TrueNegatives: 121

* FalschNegative: 97

* Gesamtzahl der Muster in den Stichproben mit Statistik: 452

In Rot habe ich das Gesamtergebnis der Verallgemeinerungsfähigkeit hervorgehoben. Der erste ist der Prozentsatz der erratenen Einsen, der zweite der Prozentsatz der erratenen Nullen und der dritte der Gesamtwert.


 
Mihail Marchukajtes:


Ich weiß nicht, was ich sagen soll. Um nur ein Beispiel aus dem Bericht zu nennen. Die Optimierungsergebnisse sehen so aus, und Sie können sie beliebig interpretieren, aber wenn die Optimierung abgeschlossen ist, sieht das Ergebnis folgendermaßen aus.

* Empfindlichkeit der Verallgemeinerungsfähigkeit: 55.12820512820513%

* Spezifität der Verallgemeinerungsfähigkeit: 55,5045871559633%.

* Verallgemeinerungsfähigkeit: 55,309734513274336%

* TruePositives: 129

* FalschePositive: 105

* TrueNegatives: 121

* FalschNegative: 97

* Gesamtzahl der Muster in den Stichproben mit Statistik: 452

In Rot habe ich das Gesamtergebnis der Verallgemeinerungsfähigkeit hervorgehoben. Der erste ist der Prozentsatz der erratenen Einsen, der zweite ist der Prozentsatz der erratenen Nullen und der dritte ist die Gesamtsumme.


MLP rät 95% der Zeit... Ich glaube, Sie bauen das falsche Fahrrad.) Nichts für ungut.
Ich baue auch mein eigenes Fahrrad, aber auf der Grundlage von jahrzehntelang bewährtem MLP (das, wie man sagt, veraltet ist und etwas Cooleres zum Arbeiten braucht). Ich bin also ganz für Fahrräder, vielleicht hat Ihr Code irgendwo eine fehlerhafte Logik? Ich habe schon ein paar davon in meinem gefunden, als ich verschiedene Varianten getestet habe. Inklusive Lösung des Problems aus dem ersten Beitrag dieses Threads. Aber dieselben Filter, die in Ihrem Problem das Unnötige abschneiden, schneiden auch das Nötige in diesem ((. Ich denke also, dass ich die Gewichte der Eingaben verwenden muss, um eine Sichtung vorzunehmen, und dass der Feldlauf mit vollständigen Daten erfolgt.
 
elibrarius:
MLP rät 95% der Zeit... Ich glaube, Sie bauen das falsche Fahrrad.) Nichts für ungut.
Ich baue auch mein eigenes Fahrrad, aber auf der Grundlage von jahrzehntelang bewährtem MLP (von dem es heißt, es sei veraltet und man brauche etwas Kühleres, um daran zu arbeiten). Ich bin also ganz für Fahrräder, vielleicht haben Sie irgendwo in Ihrem Code einen Logikfehler? Ich habe schon ein paar davon in meinem gefunden, als ich verschiedene Varianten getestet habe.


Die Sache ist die, dass ich kein Programmierer bin. Dieser Optimierer wurde nicht von mir geschrieben, ich benutze ihn nur, trotzdem geben die Eingaben, die Sie angegeben haben, 55 Prozent der Verallgemeinerung, was besser ist als zu raten, daher sehen wir das Ergebnis außerhalb der Probe mit positivem Gewinn. Das einzige, was mich jetzt noch aufhält, ist, dass das Modell gespiegelt sein muss, dann gewinnt es, und wenn das Modell gerade ist, dann verliert es...

Wenn wir den Optimierer jedoch auf alle Eingaben anwenden, wird das Modell viel komplexer sein und mehr Eingaben auswählen. Und theoretisch sollte ein solches Modell besser und länger funktionieren. Aber ich kann den Optimierer nicht auf einem vollständigen Datensatz laufen lassen - ich denke, es wird einen Monat dauern, ihn zu lesen. Ich hoffe also, dass ich den Optimierer auf der GPU ausführen kann, und dann werden wir sehen.

 
Mihail Marchukajtes:


Die Sache ist die, dass ich nicht programmieren kann. Dieser Optimierer wurde nicht von mir geschrieben, ich benutze ihn nur, trotzdem geben die Eingaben, die Sie angegeben haben, 55 Prozent der Verallgemeinerung, die besser ist als das Raten, daher sehen wir das Ergebnis außerhalb der Probe mit positivem Gewinn. Das Einzige, was mich jetzt noch aufhält, ist, dass das Modell gespiegelt sein sollte, dann steigt es, und wenn das Modell gerade ist, dann verliert es.

Wenn wir den Optimierer jedoch auf alle Eingaben anwenden, wird das Modell viel komplexer sein und mehr Eingaben auswählen. Und theoretisch sollte ein solches Modell besser und länger funktionieren. Aber ich kann den Optimierer nicht auf einem vollständigen Datensatz laufen lassen - ich denke, es wird einen Monat dauern, ihn zu lesen. Ich hoffe also, dass ich den Optimierer auf der GPU ausführen kann, und dann werden wir sehen.

Wenn Sie etwas für einen Monat in Betrieb nehmen wollen, verwenden Sie eine unterbrechungsfreie Stromversorgung, ich hatte die Lichter in etwa 2 Berechnungswochen abgeschnitten)).
Und warten Sie nicht auf die GPU, es kann länger dauern, den Code umzuschreiben, und wenn der Autor es nicht getan hat, wird kaum jemand anderes die Aufgabe erledigen.
Grund der Beschwerde: