Discussão do artigo "Redes neurais de maneira fácil (Parte 37): atenção esparsa"

 

Novo artigo Redes neurais de maneira fácil (Parte 37): atenção esparsa foi publicado:

No artigo anterior, abordamos modelos relacionais que usavam mecanismos de atenção. Uma das características desses modelos era o aumento do uso de recursos computacionais. O artigo de hoje apresenta um dos mecanismos para reduzir o número de operações computacionais dentro do bloco Self-Attention, o que aumenta o desempenho geral do modelo.

Treinamos o modelo e testamos o Expert Advisor em dados históricos do EURUSD no período H1 para março de 2023. No processo de treinamento, conseguimos obter lucro para o período de teste. É importante observar que o lucro foi obtido devido ao fato de que o tamanho da média das negociações lucrativas foi maior do que o tamanho da média das negociações perdedoras. Ao mesmo tempo, o número de posições vencedoras e perdedoras era aproximadamente o mesmo. Como resultado, o fator de lucro foi de 1,12 e o fator de recuperação foi de 1,01.

Gráfico de teste


Tabela de resultados de testes

Autor: Dmitriy Gizlyk

 
O hardware que estou usando pode ser a causa do erro?
Arquivos anexados:
 
Parece que não funciona com as placas de vídeo da Nvidia, pois tenho o mesmo erro com placas de vídeo RTX A diferentes.
 

Encontro o seguinte erro

2023.04.12 07:35:20.755 Core 01 2023.03.01 00:00:00 acesso de ponteiro inválido em 'NeuroNet.mqh' (2913,18)
2023.04.12 07:35:20.755 Core 01 Erro crítico no OnInit
2023.04.12 07:35:20.755 Core 01 O testador parou porque o OnInit falhou

Intel UHD 730
Metatrader build 3661


 
Esse erro é causado pelo fato de sua GPU não ser compatível com fp64, como pode ser visto no registro de erros
 

Qual é o meu motivo?

2023.04.13 11:46:35.381 Core 1 2023.01.02 12:00:00 Erro de execução do kernel bool CNeuronMLMHAttentionOCL::SumAndNormilize(CBufferFloat*,CBufferFloat*,CBufferFloat*) MatrixSum: erro OpenCL desconhecido 132640


 
Se você usa uma GPU Nvidia, esse provavelmente é o motivo. Infelizmente, até o momento, o autor não tem uma GPU Nvidia e, portanto, não consegue solucionar esse erro; na GPU dele, o código parece funcionar.
 
star-ik #:

Qual é o meu motivo?

2023.04.13 11:46:35.381 Core 1 2023.01.02 12:00:00 Erro de execução do kernel bool CNeuronMLMHAttentionOCL::SumAndNormilize(CBufferFloat*,CBufferFloat*,CBufferFloat*) MatrixSum: erro OpenCL desconhecido 132640


Tente usar esta biblioteca

Arquivos anexados:
NeuroNet.mqh  844 kb