Discussão do artigo "Redes neurais de maneira fácil (Parte 96): Extração multinível de características (MSFformer)"

 

Novo artigo Redes neurais de maneira fácil (Parte 96): Extração multinível de características (MSFformer) foi publicado:

A extração e integração eficazes de dependências de longo prazo e características de curto prazo continuam sendo uma tarefa importante na análise de séries temporais. Compreendê-las e integrá-las corretamente é necessário para criar modelos preditivos precisos e confiáveis.

Os autores da MSFformer propõem uma arquitetura inovadora de mecanismo de atenção piramidal aplicada a diferentes intervalos de tempo, que constitui a base do método. Além disso, para construir a informação temporal multinível nos dados brutos, eles utilizam a convolução de características no módulo de construção de grande escala, o CSCM (Coarser-Scale Construction Module), que permite a extração de informações temporais em um nível mais bruto.

No CSCM módulo, é construída uma árvore de características da série temporal analisada. Aqui, inicialmente, os dados brutos passam por uma camada totalmente conectada, que converte a dimensionalidade das características em um tamanho fixo. Em seguida, são utilizados vários blocos de convolução de características FCNN.

No bloco FCNN, vetores de características são formados a partir da extração de dados da sequência original com um passo cruzado especificado. Esses vetores são combinados. E, então, são realizadas sobre eles operações de convolução. A visualização autoral do bloco FCNN é apresentada abaixo.

O módulo CSCM proposto pelos autores utiliza vários blocos FCNN consecutivos. E cada um deles, usando os resultados do bloco anterior como dados de entrada, extrai características de uma escala maior.

Autor: Dmitriy Gizlyk