Diskussion zum Artikel "Implementierung des Truncated-Newton-Conjugate-Gradient-Algorithmus in MQL5"

 

Neuer Artikel Implementierung des Truncated-Newton-Conjugate-Gradient-Algorithmus in MQL5 :

Dieser Artikel implementiert einen Truncated-Newton-Conjugate-Gradient (TNC) Optimierer mit Box-Beschränkungen in MQL5 und beschreibt detailliert seine Kernkomponenten: Skalierung, Projektion auf Grenzen, Liniensuche und Hessematrix-Vektor-Produkte mittels finiter Differenzen. Es stellt eine Zielfunktions-Wrapperklasse bereit, die analytische oder numerische Ableitungen unterstützt, und validiert die Implementierung am Rosenbrock-Benchmark. Ein Beispiel für eine logistische Regression veranschaulicht, wie TNC als weitgehend austauschbare Alternative zu LBFGS eingesetzt werden kann.

Die Truncated-Newton-Konjugierte-Gradienten-Methode (TNC) ist ein Optimierungsalgorithmus zweiter Ordnung, der das Verhalten der Newton-Methode approximiert. Im Zusammenhang mit der Optimierung ist die Newton-Methode ein Verfahren, mit dem das Minimum einer Funktion ermittelt wird. Das allgemeine Verfahren besteht aus einer Anfangsschätzung, gefolgt von der Berechnung des Gradienten und der Hessematrix der Funktion, bevor die Variablen bzw. die Lösungsschätzung aktualisiert werden. Dieser Vorgang wird so lange wiederholt, bis Konvergenz erreicht ist.

Der Gradient einer Funktion (die erste Ableitung) gibt Auskunft über die Steigung und zeigt die Richtung des steilsten Anstiegs an. Die Hessematrix (die zweite Ableitung in Matrixform) liefert Informationen über die Form, insbesondere über die Krümmung der Funktion an einem bestimmten Punkt. Wenn die Hessematrix in allen Richtungen eine positive Krümmung aufweist, deutet dies auf ein lokales Minimum (einen Tiefpunkt) hin. Ist die Krümmung in allen Richtungen negativ, handelt es sich bei dem Punkt um ein lokales Maximum (einen Scheitelpunkt). Wenn die Hessematrix Bewegungen erst in die eine und dann in die andere Richtung anzeigt, deutet dies auf einen Sattelpunkt hin.

Gradient und Hessematrix in der Optimierung


Autor: Francis Dube