Discusión sobre el artículo "Redes neuronales: así de sencillo (Parte 94): Optimización de la secuencia de entrada"

[MetaQuotes]

Artículo publicado Redes neuronales: así de sencillo (Parte 94): Optimización de la secuencia de entrada:

Al trabajar con series temporales, siempre utilizamos los datos de origen en su secuencia histórica. Pero, ¿es ésta la mejor opción? Existe la opinión de que cambiar la secuencia de los datos de entrada mejorará la eficacia de los modelos entrenados. En este artículo te invito a conocer uno de los métodos para optimizar la secuencia de entrada.

Cuando se utiliza en modelos de arquitectura el Transformer, la eficacia de la detección de dependencias a largo plazo depende en gran medida de muchos factores. Entre ellas figuran la longitud de la secuencia, diversas estrategias de codificación posicional y la tokenización de los datos.

Tales pensamientos llevaron a los autores del artículo «Segment, Shuffle, and Stitch: A Simple Mechanism for Improving Time-Series Representations» a la idea de encontrar el uso óptimo de la secuencia histórica. ¿Podría haber una mejor organización de las series temporales que permitiera un aprendizaje de la representación más eficiente dada la tarea que nos ocupa?

En el artículo, los autores presentan un mecanismo sencillo y listo para usar llamado Segment, Shuffle, Stitch (S3), diseñado para aprender a optimizar la representación de series temporales. Como su nombre indica, S3 funciona segmentando una serie temporal en múltiples segmentos no solapados, barajando estos segmentos en el orden más óptimo y combinando después los segmentos barajados en una nueva secuencia. Cabe señalar aquí que el orden de barajado de los segmentos se aprende para cada tarea específica.

Autor: Dmitriy Gizlyk