Discusión sobre el artículo "Redes neuronales: así de sencillo (Parte 86): Transformador en U"

 

Artículo publicado Redes neuronales: así de sencillo (Parte 86): Transformador en U:

Continuamos nuestro repaso a los algoritmos de previsión de series temporales. En este artículo nos familiarizaremos con los métodos del Transformador en U.

La previsión de series temporales a largo plazo resulta importante para el trading. La arquitectura del Transformer presentada en 2017 ha demostrado un rendimiento impresionante en las áreas de procesamiento del lenguaje natural (PLN) y de visión por ordenador (CV). El uso de mecanismos de autoatención nos permiten captar eficazmente las dependencias a lo largo de intervalos temporales prolongados, extrayendo información clave del contexto. Y resulta bastante natural que rápidamente se haya propuesto un gran número de algoritmos diferentes para resolver problemas de series temporales utilizando este mecanismo. 

Sin embargo, estudios recientes han demostrado que las redes simples de perceptrón multicapa (MLP) pueden superar la precisión de los modelos basados en el Transformer en varios conjuntos de datos de series temporales. No obstante, la arquitectura del Transformer ha demostrado su eficacia en varios ámbitos e incluso ha encontrado aplicaciones prácticas. Por lo tanto, su poder de representación debería ser relativamente potente, y debería haber mecanismos para utilizarlo. Una de las opciones de perfeccionamiento del algoritmo vainilla Transformer es el artículo "U-shaped Transformer: Retain High Frequency Context in Time Series Analysis", que presenta el algoritmo del transformador en U.

Mediante un proceso de aprendizaje iterativo, podremos obtener un modelo capaz de generar beneficios tanto en la muestra de entrenamiento como en la de prueba.

During the testing period, the model performed 26 traders, 20 of which, i.e. 76.92%, were closed with a profit. The profit factor was 2.87.

El modelo ha realizado 26 transacciones durante el periodo de prueba: 20 de ellas se han cerrado con beneficio, lo cual ha supuesto un 76,92%. Al mismo tiempo, el factor de beneficio ha sido de 2,87.

Los resultados obtenidos son prometedores, pero un periodo de prueba de 1 mes resulta bastante corto para evaluar la estabilidad del modelo.

Autor: Dmitriy Gizlyk