Discussão do artigo "Redes neurais em trading: Transformer com codificação relativa"

[MetaQuotes]

Novo artigo Redes neurais em trading: Transformer com codificação relativa foi publicado:

O aprendizado autossupervisionado pode ser uma forma eficaz de analisar grandes volumes de dados brutos não rotulados. O principal fator de sucesso é a adaptação dos modelos às particularidades dos mercados financeiros, o que melhora o desempenho dos métodos tradicionais. Este artigo apresentará um mecanismo alternativo de atenção, que permite levar em conta dependências relativas e inter-relações entre os dados brutos.

A transição do treinamento de modelos do zero para o pré-treinamento em grandes conjuntos de dados brutos não rotulados, seguida de um ajuste fino para tarefas específicas, permite alcançar alta precisão de previsão sem a necessidade de coletar enormes volumes de novos dados. Por exemplo, modelos baseados na arquitetura Transformer, adaptados para dados financeiros, podem utilizar informações sobre correlações entre ativos, dependências temporais e outros fatores para construir previsões mais precisas. A introdução de mecanismos alternativos de atenção ajuda a considerar dependências importantes do mercado, aumentando significativamente o desempenho dos modelos. Isso possibilita a criação de estratégias de negociação, minimizando a necessidade de configurações manuais e modelos complexos baseados em regras.

Um desses algoritmos alternativos de atenção foi apresentado no trabalho "Relative Molecule Self-Attention Transformer". Os autores do artigo desenvolveram uma nova fórmula Self-Attention para grafos moleculares, que processa cuidadosamente várias funções de entrada para alcançar maior precisão e confiabilidade em muitas áreas da química.Relative Molecule Attention Transformer (R-MAT) é um modelo pré-treinado baseado em Transformer. Trata-se de uma nova variação de Self-Attention relativa, que permite combinar eficientemente informações sobre distância e vizinhança.R-MAT oferece desempenho moderno e competitivo em uma ampla gama de tarefas.

Autor: Dmitriy Gizlyk