Discusión sobre el artículo "Redes neuronales en el trading: Jerarquía de habilidades para el comportamiento adaptativo de agentes (HiSSD)"
Está perdiendo oportunidades comerciales:
- Aplicaciones de trading gratuitas
- 8 000+ señales para copiar
- Noticias económicas para analizar los mercados financieros
Registro
Entrada
Usted acepta la política del sitio web y las condiciones de uso
Si no tiene cuenta de usuario, regístrese
Artículo publicado Redes neuronales en el trading: Jerarquía de habilidades para el comportamiento adaptativo de agentes (HiSSD):
El enfoque clásico consiste en entrenar a los agentes en una tarea y después volver a entrenarlos en otra. Pero este enfoque no está exento de defectos. En primer lugar, es necesaria una nueva y costosa interacción con el nuevo entorno. En segundo lugar, un modelo entrenado para un número fijo de agentes no gestiona el escalado. Este se pierde al modificarse la composición de los participantes o los parámetros objetivo.
Para hacer frente a estos problemas, los investigadores empezaron a usar una arquitectura basada en el Transformer. Dicha arquitectura aporta flexibilidad: el modelo no depende del número de agentes y puede adaptarse a nuevas condiciones. Esto se convirtió en la base para el desarrollo de patrones universales de comportamiento cooperativo, es decir, habilidades que pueden transferirse entre tareas y usarse nuevamente.
Se han propuesto muchos métodos para hacer realidad estas habilidades. Algunos se basan en el aprendizaje en dos etapas; en la primera de ellas se extraen las pautas generales de comportamiento y luego se forman las políticas. Otros combinan el aprendizaje online y offline, lo que acelera la adaptación a nuevos entornos.
Estos planteamientos han tenido un efecto sustancial, sobre todo en la reducción del coste de la transferencia de modelos para resolver problemas relacionados. Sin embargo, también muestran algunos puntos débiles. Las habilidades universales son útiles, pero ignoran las particularidades necesarias para alcanzar objetivos concretos. Y en los detalles reside a menudo la clave del éxito. Además, en muchos casos, la estructura temporal de las interacciones queda fuera de foco. No obstante, la cooperación, como sabemos, no se desarrolla instantáneamente, sino con el tiempo. La secuencia de los pasos, la coherencia de las acciones... todo importa.
Para resolver estos problemas, en el artículo "Learning Generalizable Skills from Offline Multi-Task Data for Multi-Agent Cooperation" se propuso el framework HiSSD — Hierarchical and Separate Skill Discovery. Se trata de una nueva arquitectura que permite aprender al mismo tiempo habilidades generales y específicas. Sin separación artificial. Sin límites estrictos. En una estructura jerárquica, ambas categorías de conocimientos se desarrollan en paralelo.
Autor: Dmitriy Gizlyk