Diskussion zum Artikel "Neuronale Netze leicht gemacht (Teil 7): Adaptive Optimierungsverfahren" - Seite 2

Neuer Kommentar
 

TempData.Add((double)((buy || sell) ? 0 : 1));//Undef

Kann Undefine nicht wie im vorherigen Code 0,5 statt 0 schreiben, um die Anzahl der Undefinierten zu verringern?

 

Großartige und exzellente Arbeit, Dimitry! Ihr Einsatz ist immens.

Und danke fürs Teilen.

Eine kleine Beobachtung:

Ich habe das Skript ausprobiert, die Backpropagation wird vor dem Feedforward ausgeführt.

Mein Vorschlag wäre, zuerst Feedforward und dann Backpropagation des korrekten Ergebnisses auszuführen.

Wenn die korrekten Ergebnisse backpropagiert werden, nachdem man weiß, was das Netzwerk denkt, könnte man eine Verringerung der fehlenden Fraktale feststellen. Bis zu 70 % der Ergebnisse könnten verfeinert werden.


auch,

diese Vorgehensweise :

TempData.Add((double)((!buy && !sell) ? 0.5 : 0));

Dies könnte zu einem verfrüht trainierten Netz führen, was wir also vermeiden sollten.

für das Lernen des Netzes,

Wir können mit dem Adam-Optimierer und einer Lernrate von0,001beginnenund ihn über die Epochen hinweg iterieren.

(oder)

um eine bessere Lernrate zu finden, können wir den LR Range Test (LRRT) verwenden


Angenommen, die Standardeinstellungen funktionieren nicht, dann ist die beste Methode, eine gute Lernrate zu finden, der Lernratenbereichstest.

  1. Beginnen Sie mit einer sehr kleinen Lernrate (z. B.1e-7).

  2. Erhöhen Sie die Lernrate bei jedem Trainingsstapel schrittweise exponentiell.

  3. Zeichnen Sie den Trainingsverlust bei jedem Schritt auf.

  4. Tragen Sie den Verlust gegen die Lernrate auf.

  5. Betrachten Sie die Grafik. Der Verlust wird abnehmen, dann abflachen und dann plötzlich nach oben schießen. (die nächste Lernrate ist die optimale nach diesem Aufwärtssprung)

Wir brauchen die schnellste Lernrate, bei der der Verlust noch konstant abnimmt.

Nochmals vielen Dank

12
Neuer Kommentar