Diskussion zum Artikel "Kategorientheorie in MQL5 (Teil 20): Ein Abstecher über die Selbstaufmerksamkeit (Self-Attention) und den Transformer"
Sie verpassen Handelsmöglichkeiten:
- Freie Handelsapplikationen
- Über 8.000 Signale zum Kopieren
- Wirtschaftsnachrichten für die Lage an den Finanzmärkte
Registrierung
Einloggen
Sie stimmen der Website-Richtlinie und den Nutzungsbedingungen zu.
Wenn Sie kein Benutzerkonto haben, registrieren Sie sich
Neuer Artikel Kategorientheorie in MQL5 (Teil 20): Ein Abstecher über die Selbstaufmerksamkeit (Self-Attention) und den Transformer :
Wir schweifen in unserer Serie ab, indem wir über einen Teil des Algorithmus zu chatGPT nachdenken. Gibt es Ähnlichkeiten oder Konzepte, die den natürlichen Transformationen entlehnt sind? Wir versuchen, diese und andere Fragen in einem unterhaltsamen Stück zu beantworten, mit unserem Code in einem Signalklassenformat.
Ich denke, es wäre nachlässig, mit den Artikeln dieser Reihe fortzufahren, solange es um Kategorientheorie und natürliche Transformationen geht, ohne auf den Elefanten im Raum, chatGPT, einzugehen. Inzwischen ist jeder in irgendeiner Form mit chatGPT und einer Vielzahl anderer KI-Plattformen vertraut und hat den möglichen Transformer (Maschinelles Lernen) von neuronalen Netzen gesehen und hoffentlich auch zu schätzen gelernt, das nicht nur unsere Forschung erleichtert, sondern auch dringend benötigte Zeit von niederen Aufgaben abzieht. Deshalb mache ich in dieser Serie einen Abstecher und versuche, die Frage zu beantworten, ob natürliche Transformationen der Kategorientheorie in irgendeiner Weise der Schlüssel zu den Algorithmen der generativen vortrainierten Transformer sind, die von Open AI eingesetzt werden.
Neben der Suche nach Synonymen mit der Formulierung „transform“ wäre es meiner Meinung nach auch interessant, Teile des Codes des GPT-Algorithmus in MQL5 zu sehen und sie an einer vorläufigen Klassifizierung einer Wertpapierkursreihe zu testen.
Der Transformer, der in der Veröffentlichung „Attention Is All You Need“ vorgestellt wurde, war eine Innovation im Bereich der neuronalen Netze, die für Übersetzungen zwischen gesprochenen Sprachen (z. B. Italienisch-Französisch) verwendet werden und die Rekurrenten neuronale Netze und Convolutional Neural Network abschaffen sollten. Ihr Vorschlag? Self-Attention. Es wird davon ausgegangen, dass viele der heute genutzten KI-Plattformen aus diesen frühen Bemühungen hervorgegangen sind.
Der tatsächliche Algorithmus, der von Open AI verwendet wird, ist sicherlich geheim, aber nichtsdestotrotz wurde davon ausgegangen, dass er Worteinbettungen Positional Encoding, Selbstaufmerksamkeit und ein Feedforward Neural Networks als Teil eines Stapels in einem Decode-only Transformer verwendet. Nichts davon ist bestätigt, also sollten Sie mich nicht beim Wort nehmen. Und um das klarzustellen, diese Referenz bezieht sich auf den Wort-/Sprachübersetzungsteil des Algorithmus. Ja, da die meisten Eingaben in chatGPT Text sind, spielt dieser eine wichtige, fast grundlegende Rolle im Algorithmus, aber wir wissen jetzt, dass chatGPT viel mehr kann als nur Text zu interpretieren. Wenn Sie z. B. eine Excel-Datei hochgeladen haben, kann es diese nicht nur öffnen und ihren Inhalt lesen, sondern auch Diagramme erstellen und sogar eine Stellungnahme zu den dargestellten Statistiken abgeben. Der Punkt hier ist, dass der chatGPT-Algorithmus hier nicht vollständig dargestellt wird, sondern nur Teile von dem, was verstanden wird.
Autor: Stephen Njuki