Diskussion zum Artikel "Neuronale Netze leicht gemacht (Teil 32): Verteiltes Q-Learning"

 

Neuer Artikel Neuronale Netze leicht gemacht (Teil 32): Verteiltes Q-Learning :

Wir haben die Q-Learning-Methode in einem der früheren Artikel dieser Serie kennengelernt. Bei dieser Methode werden die Belohnungen für jede Aktion gemittelt. Im Jahr 2017 wurden zwei Arbeiten vorgestellt, die einen größeren Erfolg bei der Untersuchung der Belohnungsverteilungsfunktion zeigen. Wir sollten die Möglichkeit in Betracht ziehen, diese Technologie zur Lösung unserer Probleme einzusetzen.

Während der Test-EA zwei Wochen lang im MetaTrader 5-Strategietester lief und auf der Grundlage der Modellsignale handelte, erwirtschaftete er einen Gewinn von etwa 20 $. Alle Operationen hatten ein Mindestlos. Das nachstehende Schaubild zeigt einen deutlichen Aufwärtstrend beim Saldowert.

Modellversuche im Strategietester

Testen eines verteilten Q-Learning-Modells

Die Statistik der Handelsgeschäfte zeigt, dass fast 56 % der Geschäfte rentabel waren. Bitte beachten Sie jedoch, dass der EA ausschließlich zum Testen des Modells im Strategietester gedacht ist und nicht für den realen Handel an den Finanzmärkten geeignet ist.

Autor: Dmitriy Gizlyk

 
  • 3-х сверточных слоёв предварительной обработки данных,

Wie lauten die Parameter für Aktivierung, Optimierung, Fenster, Schritt und Fenster raus?

  • 3 vollständig verbundene versteckte Schichten mit je 1000 Neuronen,

Wie lauten ihre Aktivierungs- und Optimierungsparameter?

  • 1 vollständig verbundene Entscheidungsschicht mit 45 Neuronen (je 15 Neuronen für 3 Wahrscheinlichkeitsverteilungen von Aktionen),

Wie lauten ihre Aktivierungs- und Optimierungsparameter?

  • 1 SoftMax-Schicht zur Normalisierung der Wahrscheinlichkeitsverteilungen.

SiftMax wird im NetCreator festgelegt. Ergibtsich daraus 45 ?

 

В NetCreator указан SiftMax. У него в итоге выйдет outputs 45? 

Verwenden Sie den NetCreator aus diesem Artikel. Der Parameter Heads für SoftMax wurde hinzugefügt. In ihm müssen Sie die Anzahl der möglichen Aktionen angeben. Dann ändert sich der Parameter für die SoftMax-Schichtgröße.

 
Ivan Butko #:

Was sind ihre Aktivierungs- und Optimierungsparameter?

Ich habe Adam verwendet, um alle neuronalen Schichten zu optimieren. Vor SoftMax wird die Aktivierungsfunktion nicht verwendet. Es kann eine große Anzahl von Neuronen mit demselben Ergebnis auf der Randebene des Ergebnisbereichs entstehen. Und SoftMax wird ihnen die gleichen Wahrscheinlichkeiten zuweisen. Dadurch wird das Ergebnis verzerrt. Hier ist SoftMax die Aktivierungsfunktion.

 
Wie viele Era's trainieren Sie?
 
Versuchen Sie kompilieren alle Ihre EA von Kapitel 28 bis 35 und immer noch den gleichen Fehler.. können Sie mir helfen, Sir..?
Dateien:
 
tey zu verwenden VAE-Datei aus Kapitel 22.. kein Fehler in kompilieren, aber wenn ich anhängen Zug EA nichts passieren. ich etwas verpasst?
Dateien:
 

Ist dieser Wert nicht immer gleich Null:


Ich denke, es sollte (Vmax-Vmin)/N sein?

 
Carl Schreiber # :

Ist das nicht immer die Null:


Ich denke, es sollte (Vmax-Vmin)/N sein?

Hallo, Sie haben Recht.

 

Was ist mit #include "..\Unsupervised\AE\VAE.mqh"?
Es gibt eine einfache Anleitung, wie man dieses Zeug benutzt, wenn VAE.mqh erscheint?

*edit* Hier ist die VAE.mqh https://www.mql5.com/de/articles/11245 sie befindet sich auf Teil 22

Neural networks made easy (Part 22): Unsupervised learning of recurrent models
Neural networks made easy (Part 22): Unsupervised learning of recurrent models
  • www.mql5.com
We continue to study unsupervised learning algorithms. This time I suggest that we discuss the features of autoencoders when applied to recurrent model training.
 
IcHiAT #:

Was ist mit dem #include "..\Unsupervised\AE\VAE.mqh"?
Existiert ein einfaches Handbuch für die Verwendung dieser Dateien, wenn VAE.mqh vorhanden ist?

*editar* Aqui está o VAE.mqh https://www.mql5.com/de/articles/11245 está na Parte 22

Ja, aber ich erhalte immer noch eine Fehlermeldung wie unten. Haben Sie dieses Problem gefunden?


'MathRandomNormal' - nicht deklarierter Bezeichner VAE.mqh 92 8

',' - unerwartetes Token VAE.mqh 92 26

0' - irgendein Operator erwartet VAE.mqh 92 25

'(' - unausgewogene linke Klammer VAE.mqh 92 6

',' - unerwartetes Token VAE.mqh 92 29

Ausdruck hat keine Wirkung VAE.mqh 92 28

',' - unerwartetes Token VAE.mqh 92 48

')' - unerwartetes Token VAE.mqh 92 56

Ausdruck hat keine Wirkung VAE.mqh 92 50

')' - unerwartetes Token VAE.mqh 92 57