Diskussion zum Artikel "Ihrer eigenes LLM in einen EA integrieren (Teil 5): Handelsstrategie mit LLMs(I) entwickeln und testen – Feinabstimmung"

Neuer Kommentar
 

Neuer Artikel Ihrer eigenes LLM in einen EA integrieren (Teil 5): Handelsstrategie mit LLMs(I) entwickeln und testen – Feinabstimmung :

Angesichts der rasanten Entwicklung der künstlichen Intelligenz sind Sprachmodelle (language models, LLMs) heute ein wichtiger Bestandteil der künstlichen Intelligenz, sodass wir darüber nachdenken sollten, wie wir leistungsstarke LLMs in unseren algorithmischen Handel integrieren können. Für die meisten Menschen ist es schwierig, diese leistungsstarken Modelle auf ihre Bedürfnisse abzustimmen, sie lokal einzusetzen und sie dann auf den algorithmischen Handel anzuwenden. In dieser Artikelserie werden wir Schritt für Schritt vorgehen, um dieses Ziel zu erreichen.

In unserem letzten Artikel haben wir die GPU-Beschleunigung zum Trainieren großer Sprachmodelle vorgestellt, aber wir haben sie nicht zur Formulierung von Handelsstrategien oder zum Backtesting verwendet. Das eigentliche Ziel der Ausbildung unseres Modells besteht jedoch darin, es zu nutzen, damit es uns dient. Ab diesem Artikel werden wir also Schritt für Schritt das trainierte Sprachmodell verwenden, um Handelsstrategien zu formulieren und unsere Strategien an Devisenpaaren zu testen. Natürlich ist dies kein einfacher Prozess. Es erfordert, dass wir entsprechende technische Mittel einsetzen, um diesen Prozess zu erreichen. Lassen Sie uns also Schritt für Schritt vorgehen. 

Der gesamte Prozess kann mehrere Artikel in Anspruch nehmen.

  • Der erste Schritt besteht darin, eine Handelsstrategie zu formulieren; 
  • Der zweite Schritt ist die Erstellung eines Datensatzes entsprechend der Strategie und die Feinabstimmung des Modells (oder das Training des Modells), sodass die Eingabe und die Ausgabe des großen Sprachmodells mit unserer formulierten Handelsstrategie übereinstimmen. Es gibt viele verschiedene Methoden, diesen Prozess zu erreichen, und ich werde so viele Beispiele wie möglich anführen;
  • Der dritte Schritt ist die Inferenz des Modells und die Verschmelzung des Outputs mit der Handelsstrategie und die Erstellung von EA entsprechend unserer Handelsstrategie. Natürlich bleibt in der Inferenzphase des Modells noch einiges zu tun (Auswahl des geeigneten Inferenzrahmens und der Optimierungsmethoden: z. B. Flash-Attention, Modellquantisierung, Speedup usw.); 
  • Der vierte Schritt ist das historische Backtesting, mit dem wir unseren EA auf der Client-Seite testen.


    Autor: Yuqiang Pan

     
    Hallo
    Was ist der Hauptunterschied zwischen dem Trainingsprozess und dem Feinabstimmungsprozess bei der Arbeit mit Sprachmodellen?
     
    Christian Benjamin #:
    Hallo
    Was ist der Hauptunterschied zwischen dem Trainingsprozess und dem Feinabstimmungsprozess bei der Arbeit mit Sprachmodellen?

    Hallo, anhand der Beispiele in diesem Artikel:

    1. Die Gewichte des vortrainierten GPT2-Modells, das wir in diesem Beispiel verwenden, haben keinen Inhalt, der mit unseren Daten zusammenhängt, und die Eingabezeitreihen werden ohne Feinabstimmung nicht erkannt, aber der richtige Inhalt kann nach der Feinabstimmung entsprechend unseren Bedürfnissen ausgegeben werden.

    2. Wie in unserem Artikel erwähnt, ist es sehr zeitaufwendig, ein Sprachmodell von Grund auf zu trainieren, um es konvergieren zu lassen, aber durch die Feinabstimmung wird ein vorab trainiertes Modell schnell konvergieren, was viel Zeit und Rechenleistung spart. Da das in unserem Beispiel verwendete Modell relativ klein ist, ist dieser Prozess nicht sehr offensichtlich.

    3. Wenn die Datenmenge nicht ausreicht, ist die Feinabstimmung des Modells mit der gleichen Datenmenge viel besser als das direkte Training eines Modells.

     

    Hallo, danke für die tollen Artikel.


    Ich bin gespannt, wie wir das verfeinerte Modell in MT5 integrieren werden

    Neuer Kommentar