Diskussion zum Artikel "Neuronale Netze im Trading: Hierarchische Entdeckung von Skills für adaptives Agentenverhalten (HiSSD)"
MetaQuotes:
Interessant
Neuer Artikel „Anwendung neuronaler Netze im Handel: Hierarchische Skill-Entdeckung (HiSSD) für adaptives Verhalten von Agenten“ veröffentlicht:
Autor: Dmitriy Gizlyk
Sie verpassen Handelsmöglichkeiten:
- Freie Handelsapplikationen
- Über 8.000 Signale zum Kopieren
- Wirtschaftsnachrichten für die Lage an den Finanzmärkte
Registrierung
Einloggen
Sie stimmen der Website-Richtlinie und den Nutzungsbedingungen zu.
Wenn Sie kein Benutzerkonto haben, registrieren Sie sich
Neuer Artikel Neuronale Netze im Trading: Hierarchische Entdeckung von Skills für adaptives Agentenverhalten (HiSSD) :
Der konventionelle Ansatz besteht darin, Agenten für eine Aufgabe zu trainieren und sie dann für eine andere feinabzustimmen. Diese Strategie hat jedoch mehrere Nachteile. Erstens erfordert sie eine kostspielige erneute Interaktion mit der neuen Umgebung. Zweitens skaliert ein Modell, das für eine feste Anzahl von Agenten trainiert wurde, nicht effektiv. Seine Leistung verschlechtert sich, wenn sich die Zusammensetzung der Agenten oder die Aufgabenparameter ändern.
Um diese Probleme anzugehen, begannen Forscher, Transformer-basierte Architekturen einzusetzen. Sie bieten eine größere Flexibilität: Das Modell ist nicht mehr an eine feste Anzahl von Agenten gebunden und kann sich an neue Bedingungen anpassen. Diese Entwicklung legte den Grundstein für das Erlernen universeller kooperativer Verhaltensmuster – Skills, die aufgabenübergreifend übertragen und in verschiedenen Umgebungen wiederverwendet werden können.
Zahlreiche Ansätze wurden für die Implementierung solcher Skills vorgeschlagen. Einige stützen sich auf einen zweistufigen Trainingsprozess, bei dem zunächst allgemeine Verhaltensmuster extrahiert und dann zum Erlernen einer Strategie verwendet werden. Andere kombinieren Offline- und Online-Lernen, was die Anpassung an neue Umgebungen beschleunigt.
Diese Methoden haben zu signifikanten Verbesserungen geführt, insbesondere bei der Senkung der Kosten für die Übertragung von Modellen auf verwandte Aufgaben. Sie haben jedoch auch Einschränkungen. Während allgemeine Skills nützlich sind, übersehen sie oft aufgabenspezifische Merkmale, die zum Erreichen bestimmter Ziele erforderlich sind. Doch der Erfolg liegt häufig genau in diesen Details. Darüber hinaus vernachlässigen viele Ansätze die zeitliche Struktur von Interaktionen. Zusammenarbeit entsteht nicht augenblicklich – sie entwickelt sich im Laufe der Zeit. Die Abfolge von Aktionen und die Konsistenz der Koordination sind beide von entscheidender Bedeutung.
Zur Lösung dieser Probleme stellt der Artikel „Learning Generalizable Skills from Offline Multi-Task Data for Multi-Agent Cooperation“ das Framework HiSSD (Hierarchical and Separate Skill Discovery) vor. Diese neuartige Architektur ermöglicht das gleichzeitige Erlernen sowohl allgemeiner als auch aufgabenspezifischer Skills ohne künstliche Trennung und ohne starre Einschränkungen. In der hierarchischen Struktur entwickeln sich beide Wissenskategorien parallel.
Autor: Dmitriy Gizlyk