Discusión sobre el artículo "Añadimos un LLM personalizado a un robot comercial (Parte 5): Desarrolla y prueba una estrategia de trading con LLMs (II), LoRA-Tuning"

 

Artículo publicado Añadimos un LLM personalizado a un robot comercial (Parte 5): Desarrolla y prueba una estrategia de trading con LLMs (II), LoRA-Tuning:

Con el rápido desarrollo de la inteligencia artificial en la actualidad, los modelos lingüísticos (LLM) son una parte importante de la inteligencia artificial, por lo que deberíamos pensar en cómo integrar potentes LLM en nuestras operaciones algorítmicas. Para la mayoría de la gente, es difícil ajustar estos potentes modelos a sus necesidades, desplegarlos localmente y luego aplicarlos a la negociación algorítmica. Esta serie de artículos adoptará un enfoque paso a paso para lograr este objetivo.

En el artículo anterior, presentamos cómo ajustar el modelo preentrenado GPT-2 usando nuestros propios datos financieros con un método de ajuste fino de parámetros completos y evaluamos los resultados de salida del modelo. En este artículo y los siguientes, analizaremos más a fondo cómo implementar otros métodos de ajuste fino con ejemplos de código (solo analizaremos los métodos de ajuste fino presentados en el artículo anterior y, por supuesto, es imposible implementar todos los métodos). Sólo seleccionaré algunos métodos comúnmente utilizados para su implementación. Este artículo tomará el método de ajuste LoRA como ejemplo para su discusión.

Además, tenemos la tarea de intentar comparar los modelos entrenados con estos diferentes métodos de ajuste fino de forma horizontal y luego encontrar el modelo con mejor rendimiento bajo el par de divisas actual (por supuesto, el rendimiento del modelo también puede variar bajo diferentes condiciones de mercado, como tendencias al alza, tendencias a la baja o tendencias oscilantes). Esto puede guiarnos más claramente sobre qué método de entrenamiento modelo utilizar en la práctica para lograr mejores resultados. Por supuesto, si somos más rigurosos, no sólo deberíamos comparar estos diferentes métodos de procesamiento horizontalmente, sino también comparar el rendimiento de los modelos ajustados de diferentes pares de divisas bajo diferentes métodos de procesamiento de datos y métodos de ajuste. Esta parece ser una tarea sencilla pero extremadamente tediosa. Yo, personalmente, creo que si realmente queremos aplicar esta serie de métodos en el trading, este paso es crucial. Sin embargo, no pretendo introducir esta parte en detalle en esta serie de artículos porque creo que cada uno puede ampliarla fácilmente a partir de nuestros ejemplos. Simplemente reemplace los datos de entrenamiento con diferentes pares de divisas y luego compare el rendimiento del modelo horizontalmente. Aunque esto es tedioso, es fácil de lograr.


Autor: Yuqiang Pan