Discusión sobre el artículo "Redes neuronales en el trading: Optimización del Transformer para la previsión de series temporales (LSEAttention)"

[MetaQuotes]

Artículo publicado Redes neuronales en el trading: Optimización del Transformer para la previsión de series temporales (LSEAttention):

El framework LSEAttention ofrece formas de mejorar la arquitectura del Transformer, y se ha diseñado específicamente para la previsión a largo plazo de series temporales multidimensionales. Los enfoques propuestos por los autores del método resuelven los problemas de colapso de entropía e inestabilidad de aprendizaje característicos del Transformer vainilla.

En visión por computadora y procesamiento del lenguaje natural, las matrices de atención pueden experimentar un colapso de entropía o de rango. Este problema se agrava en la previsión de series temporales debido a las frecuentes fluctuaciones inherentes a los datos temporales, lo cual provoca una importante degradación del rendimiento del modelo. Las causas fundamentales del colapso de entropía siguen siendo poco conocidas, por lo que resulta necesario seguir investigando sus mecanismos subyacentes y su impacto en el rendimiento de los modelos. Los autores del artículo "LSEAttention is All You Need for Time Series Forecasting" precisamente intentan solucionar estos problemas.

Para que el experimento sea más puro, hemos repetido al completo el algoritmo de entrenamiento del modelo HypDiff. Para el entrenamiento, hemos usado la misma muestra de entrenamiento. Sin embargo, esta vez no lo hemos actualizado iterativamente. Sí, esto puede afectar negativamente a los resultados del entrenamiento, pero nos permitirá comparar correctamente el rendimiento del modelo antes y después de optimizar el algoritmo.

Para validar los resultados del entrenamiento del modelo, hemos utilizado los datos históricos reales del primer trimestre de 2024. Ahora le presentamos los resultados de las mismas.

Debemos decir que los resultados del modelo en la muestra de prueba antes y después de la modificación son bastante parecidos. Durante el periodo de prueba, el modelo actualizado ha realizado 24 transacciones. La desviación respecto al modelo básico ha sido de 1 transacción en el nivel de margen de error. Ambos modelos han realizado 13 transacciones rentables. La única mejora visible es la ausencia de reducciones en el mes de febrero.

Autor: Dmitriy Gizlyk