Discusión sobre el artículo "Redes neuronales: así de sencillo (Parte 54): Usamos un codificador aleatorio para una exploración eficiente (RE3)"

[MetaQuotes]

Artículo publicado Redes neuronales: así de sencillo (Parte 54): Usamos un codificador aleatorio para una exploración eficiente (RE3):

Siempre que analizamos métodos de aprendizaje por refuerzo, nos enfrentamos al problema de explorar eficientemente el entorno. Con frecuencia, la resolución de este problema hace que el algoritmo se complique, llevándonos al entrenamiento de modelos adicionales. En este artículo veremos un enfoque alternativo para resolver el presente problema.

El objetivo principal del método Random Encoders for Efficient Exploration (RE3) consiste en minimizar el número de modelos entrenados. En su trabajo, los autores del método RE3 llaman la atención sobre el hecho de que en el campo del procesamiento de imágenes, solo las redes convolucionales son capaces de identificar rasgos y características individuales de un objeto. Son precisamente las redes convolucionales las que ayudarán a reducir la dimensionalidad del espacio multidimensional, resaltar los rasgos característicos y hacer frente al escalamiento del objeto original.

Y aquí nos surge una pregunta es bastante razonable: ¿de qué tipo de minimización de los modelos entrenados hablaremos si además recurrimos a redes convolucionales?

En este aspecto, la palabra clave es “entrenados”. Los autores del método llamaron la atención sobre el hecho de que incluso un codificador convolucional inicializado con parámetros aleatorios captura efectivamente la información sobre la proximidad de dos estados. A continuación le mostramos una visualización de los estados k más próximos encontrados midiendo las distancias en el espacio de representación de un codificador inicializado aleatoriamente (Random Encoder) y en el espacio del estado verdadero (True State), del artículo de autor.

Autor: Dmitriy Gizlyk