Diskussion zum Artikel "Neuronale Netze leicht gemacht (Teil 11): Ein Blick auf GPT"

 

Neuer Artikel Neuronale Netze leicht gemacht (Teil 11): Ein Blick auf GPT :

Eines der fortschrittlichsten Modelle unter den derzeit existierenden neuronalen Netzen für Sprachen ist vielleicht GPT-3, dessen maximale Variante 175 Milliarden Parameter enthält. Natürlich werden wir ein solches Ungetüm nicht auf unseren Heim-PCs erstellen. Wir können uns jedoch ansehen, welche architektonischen Lösungen bei unserer Arbeit verwendet werden können und wie wir von ihnen profitieren können.

Die neue Klasse des neuronalen Netzwerks wurde auf demselben Datensatz getestet, der in den vorherigen Tests verwendet wurde: EURUSD mit dem H1-Zeitrahmen, historische Daten der letzten 20 Candlesticks wurden in das neuronale Netz eingespeist.

Die Testergebnisse haben die Vermutung bestätigt, dass mehr Parameter eine längere Trainingsperiode erfordern. In den ersten Trainingsepochen zeigt ein Expert Advisor mit weniger Parametern stabilere Ergebnisse. Mit zunehmender Dauer des Trainings zeigt ein Expert Advisor mit einer großen Anzahl von Parametern jedoch bessere Werte. Im Allgemeinen sank der Fehler von Fractal_OCL_AttentionMLMH_v2 nach 33 Epochen unter das Fehlerniveau des Fractal_OCL_AttentionMLMH EA und blieb weiterhin niedrig.

Autor: Dmitriy Gizlyk