Discussão do artigo "ADAM Populacional (estimativa adaptativa de momentos)"

[MetaQuotes]

Novo artigo ADAM Populacional (estimativa adaptativa de momentos) foi publicado:

Este artigo apresenta a transformação do conhecido e popular método de otimização por gradiente ADAM em um algoritmo populacional e sua modificação com a introdução de indivíduos híbridos. A nova abordagem permite criar agentes que combinam elementos de soluções bem-sucedidas usando uma distribuição probabilística. A principal inovação é a formação de indivíduos híbridos populacionais, que acumulam de forma adaptativa informações das soluções mais promissoras, aumentando a eficácia da busca em espaços multidimensionais complexos.

Em 2014, dois grandes nomes — D. P. Kingma e J. Ba — propuseram o algoritmo ADAM, que combina as melhores características de seus antecessores, como AdaGrad e RMSProp. O algoritmo foi projetado especificamente para otimizar os pesos de redes neurais utilizando gradientes das funções de ativação dos neurônios. Ele se baseia em estimativas adaptativas do primeiro e segundo momentos, o que o torna simples de implementar e altamente eficiente do ponto de vista computacional. O algoritmo exige poucos recursos de memória e não depende de mudanças diagonais nas escalas dos gradientes, o que o torna especialmente adequado para tarefas com grandes volumes de dados e parâmetros.

O ADAM também se sai bem em objetivos não estacionários e em situações onde os gradientes podem ser ruidosos ou esparsos. Seus hiperparâmetros são fáceis de interpretar e normalmente não exigem configurações complexas.

No entanto, apesar de sua eficácia no campo das redes neurais, o ADAM é limitado ao uso de gradientes analíticos, o que restringe seu campo de aplicação. Neste artigo, propomos uma abordagem inovadora para modificar o algoritmo ADAM, transformando-o em um algoritmo populacional de otimização capaz de trabalhar com gradientes numéricos. Essa modificação não apenas amplia o uso do ADAM para além das redes neurais, mas também abre novas possibilidades para resolver uma ampla gama de problemas de otimização em geral.

Nossa proposta de pesquisa tem como foco a criação de um otimizador universal, que mantenha as vantagens do ADAM original, mas que seja capaz de funcionar de forma eficaz em contextos onde os gradientes analíticos não estão disponíveis. Isso permitirá aplicar o ADAM modificado em áreas como otimização global e otimização multicritério, expandindo significativamente seu potencial e valor prático.

Autor: Andrey Dik