Discusión sobre el artículo "Redes neuronales: así de sencillo (Parte 89): Transformador de descomposición de la frecuencia de señal (FEDformer)"
Está perdiendo oportunidades comerciales:
- Aplicaciones de trading gratuitas
- 8 000+ señales para copiar
- Noticias económicas para analizar los mercados financieros
Registro
Entrada
Usted acepta la política del sitio web y las condiciones de uso
Si no tiene cuenta de usuario, regístrese
Artículo publicado Redes neuronales: así de sencillo (Parte 89): Transformador de descomposición de la frecuencia de señal (FEDformer):
Todos los modelos de los que hemos hablado anteriormente analizan el estado del entorno como una secuencia temporal. Sin embargo, las propias series temporales también pueden representarse como características de frecuencia. En este artículo, presentaremos un algoritmo que utiliza las características de frecuencia de una secuencia temporal para predecir los estados futuros.
La previsión de series temporales a largo plazo es un problema largamente estudiado en diversas aplicaciones. Los modelos basados en el Transformer están dando resultados prometedores, pero la elevada complejidad computacional y los requisitos de memoria dificultan el uso del Transformer para modelar secuencias largas. Esto ha dado lugar a numerosos estudios que se han centrado en reducir el coste computacional del Transformer.
A pesar de los progresos realizados por los métodos de previsión de series temporales basados en el Transformer, en algunos casos estos no consiguen captar las características generales de la distribución de las series temporales. En este sentido, los autores del artículo "FEDformer: Frequency Enhanced Decomposed Transformer for Long-term Series Forecasting" han tratado de proponer una solución a dicho problema. En el mencionado artículo, los autores comparan datos de series temporales reales con sus valores predichos obtenidos a partir delTransformer vainilla. Más abajo puede ver una captura de pantalla del artículo.
Podemos notar fácilmente que la distribución de las series temporales predichas es muy diferente de la verdadera. La discrepancia entre los valores previstos y los pronosticados puede explicarse por la atención puntual en el Transformer. Como la predicción para cada paso temporal se realiza de forma individual e independiente, es probable que el modelo no pueda preservar las propiedades y estadísticas globales de la serie temporal en su conjunto. Para resolver este problema, los autores del artículo exploran dos ideas.
La primera consiste en usar el método de descomposición de tendencias estacionales, muy utilizado en el análisis de series temporales. Los autores del artículo presentan una arquitectura de modelo especial que aproxima eficazmente la distribución de predicción a la distribución verdadera.
La segunda idea consiste en incorporar el análisis de Fourier al algoritmo del Transformer. En lugar de aplicar el Transformer a la dimensión temporal de una secuencia, los autores proponen analizar sus características frecuenciales, lo cual ayuda al Transformer a captar mejor las propiedades globales de las series temporales.
La combinación de las ideas propuestas se materializa en el Frequency Enhanced Decomposition Transformer o FEDformer, para abreviar.
Autor: Dmitriy Gizlyk