Discusión sobre el artículo "ADAM poblacional (Estimación Adaptativa de Momentos)"
Está perdiendo oportunidades comerciales:
- Aplicaciones de trading gratuitas
- 8 000+ señales para copiar
- Noticias económicas para analizar los mercados financieros
Registro
Entrada
Usted acepta la política del sitio web y las condiciones de uso
Si no tiene cuenta de usuario, regístrese
Artículo publicado ADAM poblacional (Estimación Adaptativa de Momentos):
En 2014, dos mentes prominentes - D.P. Kingma y J. Ba propusieron el algoritmo ADAM, que combina las mejores características de sus predecesores, como AdaGrad y RMSProp. El algoritmo se diseñó específicamente para optimizar los pesos de las redes neuronales usando los gradientes de las funciones de activación de las neuronas. Se basa en las estimaciones adaptativas del primer y segundo momento, lo cual hace que sea fácil de aplicar y muy eficiente desde el punto de vista computacional. El algoritmo necesita unos recursos de memoria mínimos y no depende del escalado diagonal de los gradientes, lo que lo hace especialmente adecuado para problemas intensivos en datos y parámetros.
ADAM también funciona bien con objetivos no estacionarios y en situaciones en las que los gradientes pueden ser ruidosos o dispersos. Los hiperparámetros del algoritmo son fáciles de interpretar y no suelen requerir un ajuste complejo.
Sin embargo, a pesar de su eficacia en el campo de las redes neuronales, ADAM se limita al uso de gradientes analíticos, lo cual reduce su gama de aplicaciones. En este trabajo, le proponemos un enfoque innovador para modificar el algoritmo ADAM, transformándolo en un algoritmo de optimización poblacional capaz de manejar gradientes numéricos. Esta modificación no solo amplía el alcance de ADAM más allá de las redes neuronales, sino que también descubre nuevas posibilidades para resolver una amplia gama de problemas generales de optimización.
Nuestra investigación pretende desarrollar un optimizador universal que mantenga las ventajas del ADAM original, pero que sea capaz de funcionar eficazmente en entornos en los que no se disponga de gradientes analíticos. Esto permitirá aplicar el ADAM modificado en ámbitos como la optimización global y la optimización multicriterio, ampliando enormemente su potencial y su valor práctico.
Autor: Andrey Dik