Discusión sobre el artículo "Tercera generación de neuroredes: "Neuroredes profundas"" - página 4
Está perdiendo oportunidades comerciales:
- Aplicaciones de trading gratuitas
- 8 000+ señales para copiar
- Noticias económicas para analizar los mercados financieros
Registro
Entrada
Usted acepta la política del sitio web y las condiciones de uso
Si no tiene cuenta de usuario, regístrese
vlad1949:
... el desarrollo de un solitario (probablemente un programador con talento) aún no se ha llevado a la práctica.
Así es. La primera versión está publicada en code.google.com. El proyecto se llama libvmr.
Hasta ahora sólo en Java. Más adelante lo portaré a otros lenguajes, incluyendo mql5.
vlad1949:
...
He aquí una sugerencia: Discutir el tema de Reshetov en su blog o en un hilo aparte (si él lo organiza).
Las opiniones y consideraciones sobre el tema del artículo - "Redes neuronales profundas" - son bienvenidas aquí.
También es posible sobre el aprendizaje profundo.
Por ejemplo, con el fin de mejorar la clasificación, digamos para las imágenes, a continuación, entrenar autoencoders utilizando invarianza. Por ejemplo, necesitamos distinguir entre imágenes de dos clases. Sean gráficos de instrumentos financieros con imágenes de sus indicadores. La primera clase es el gráfico anterior al crecimiento de las cotizaciones. La segunda clase es el gráfico anterior al crecimiento de las cotizaciones a la baja. En este caso, al entrenar los autocodificadores, es necesario suministrar imágenes sin cambios a las entradas para la primera clase, e imágenes inversas, es decir, negativas, para la segunda clase.
Además, los autocodificadores ya listos y entrenados con el algoritmo de retropropagación pueden ensamblarse en cascada y colocar en la salida una neurona ya entrenada con VMR.
Reshetov:
Si tienes razón tu "profundo" intelecto que pasó el test de Turing ya debería esclavizar internet y dominar el mundo.
Francamente, estoy harto de que seas tan opinador.
Si tienes razón, tu intelecto "profundo", que ha superado la prueba de Turing, ya debería esclavizar a Internet y dominar el mundo.
Andryukha, no hagas mucho ruido. O los ordenanzas se enterarán de lo de Turing, se despertarán, y entonces se acabará la conquista del dominio mundial.
Sinceramente, estoy harto de que seas tan opinador. . .
Tómate un sedante y estarás bien. Después de la esclavitud intelectual, tendrás una décima parte del universo, si no te enfureces demasiado.
Ya después de escribir este artículo me encontré con el borrador de un libro de uno de los principales investigadores en el campo del "Deep Learning" Yoshua Bengio et al. http://www. iro.umontreal.ca/~bengioy/dlbook/
Se dan muchas matemáticas, pero al mismo tiempo definiciones claras y conceptos básicos sobre el tema, desde lo básico hasta lo avanzado.
A continuación, algunos extractos de la traducción libre.
En la sección 10. " Unsupervised and Transfer Learning" los autores creen que mientras que el aprendizaje guiado por el profesor ha sido el caballo de batalla de los recientes éxitos industriales del aprendizaje profundo, un elemento clave de los futuros avances puede ser el aprendizaje no supervisado de representaciones (¿imágenes?) sin profesor ). La idea es que algunas representaciones pueden ser más útiles (por ejemplo, para clasificar objetos a partir de imágenes o fonemas a partir del habla) que otras. Como se argumenta allí, se trata de aprender representaciones para seleccionar las mejores de forma sistemática, es decir. optimizando el rasgo que representa los datos brutos sus representacionesиrepresentaciones.
En este artículo, revisamos algunos de los componentes básicos para el aprendizaje no supervisadode representaciones ( AutoEncoder y RBM ) y recetas muy exitosas para combinarlos y formar representaciones profundas (Stacked AutoEncoder y Stacked RBM) entrenadas con greedy layerwise unsupervised pre-training .
Posteriormente, al entrenar redes profundas con un maestro (fine tuning), entrenamos lasrepresentaciones con el objetivo de seleccionar laque mejor se ajuste a la tarea de predecir el objetivo representado por las entradas.
¿Y si en lugar de una tarea, tenemos muchas tareas que podrían tener representaciones comuneso parte de ellas? (esto es el aprendizaje multitarea, )
"Aprendizaje por transferencia y adaptación al dominio
La transferencia de conocimientos y la adaptación al dominio se refieren a la situación en la que lo que se haaprendido en
enalgunascondiciones (por ejemplo, la distribución P1) se utiliza para mejorar la generalización en otras condiciones (por ejemplo, la distribución P2 ).
En el caso de la transferencia de conocimientos, consideramos que lastareas son diferentes, pero muchos de
losfactores que explican la distribución P1 son relevantes para los cambios que hay que captar para aprender P2. Esto se entiende generalmente en elcontexto del aprendizaje supervisado, en el que las entradasы son las mismas mismosыLos inputs son los mismos, pero el objetivo puede ser diferentede naturaleza, por ejemplo, aprender sobrecategorías visuales que sondiferentes en elprimercaso y en elsegundo . Si hay muchos más datos en la primera muestra (tomada de P1) ,puede ayudar a aprender representaciones útiles para una generalización rápida al procesar ejemplos de P2 .
Por ejemplo, muchas categorías visuales tienen conceptoscomunes de bajo nivel(bordes yformasvisuales), efectos de cambios geométricos, cambios de iluminación, etc.
En general, la transferencia de conocimientos, el aprendizaje multitarea y la adaptación aldominio pueden lograrse mediante elaprendizaje de representaciones cuando existen características que pueden ser útiles para diferentes entornos o tareas, es decir, cuando hay factores subyacentes comunes.
En el caso de la adaptación de dominio, consideramos que la tarea a resolver es la misma pero los conjuntos de entrada son diferentes. Por ejemplo, si predecimos el sentimiento (positivo onegativo) relacionado concomentarios de textoen Internet, la primera muestra podría referirse a comentarios deconsumidores sobre libros, vídeos ymúsica, mientras que el segundo conjunto podría referirse a latelevisión uotrosproductos.
Aunque el aprendizaje multitarea suele considerarse en el contexto del aprendizaje con un profesor, la noción más general de aprendizaje por transferencia se aplica al aprendizaje no supervisado y al aprendizaje por refuerzo.
Una forma extrema de aprendizaje por transferencia es el aprendizaje de una sola vez o incluso de cero , en el que se dauno o ningún ejemplo de una nueva tarea.
Brevemente, dos conclusiones importantes.
Para el aprendizaje profundo de redes neuronales con preentrenamiento, no tiene sentido hablar de la importancia de los predictores individuales. Lo importante es la estructura interna del conjunto. Esto permitirá extraer representaciones profundas (imágenes) en la fasede entrenamiento sin profesor, y en la fase de entrenamiento con profesor para determinar su correspondencia con la tarea en cuestión.
Un efecto secundario positivo del preentrenamiento es que se extraen representaciones que se adaptan bien a la red neuronal para resolver otra tarea, no la que le enseñamos en la segunda etapa.
Más concretamente. Si lees el artículo con atención, te darás cuenta de que entrenamos la red neuronal para clasificar entradas presentando señales ZigZag. En consecuencia, los resultados de Accuracy no son impresionantes. Pero los resultados de del saldo total obtenidos utilizando las señales predichas de la red neuronal entrenada ¡son superiores a los obtenidos utilizando señales ZigZag! Para evaluar la eficacia de la predicción, introduje un coeficiente K. Se trata del aumento medio de puntos pequeños por una barra del gráfico. Por ejemplo, para ZZ es igual a 17, mientras que para las predicciones de la red es de 25 a 35 dependiendo del instrumento (en TF M30).
Esto es transferencia deconocimientos ( aprendizaje por transferencia ): al aprender sobre un conjunto de datos obtenemos soluciones para varias tareas diferentes.
Se trata de un tema muy prometedor y en pleno desarrollo.
Para terminar el trabajo iniciado en el artículo, en el próximo post daré un ejemplo de optimización de los parámetros del DN SAE utilizando un algoritmo evolutivo (genético).
No he considerado el uso de DN SRBM. No ha mostrado resultados estables en mi práctica.
Éxito
Ya después de escribir este artículo me encontré con el borrador de un libro de uno de los principales investigadores en el campo del "Deep Learning" Yoshua Bengio et al. http://www. iro.umontreal.ca/~bengioy/dlbook/
Mucha matemática, pero al mismo tiempo se dan definiciones claras y conceptos básicos sobre el tema, desde lo básico a lo avanzado.
Voy a ser sincero, cuando leí el artículo, la impresión que me dio fue un poco extraña y turbia, pero lo descarté como un enfoque de "amontonarlo todo". Luego leí el libro del enlace. Desgraciadamente, casi todo lo que se expone en esta obra son ideas largamente masticadas, presentadas por alguien como algo nuevo y sorprendente. Y ahora el matemático y el ingeniero investigador que hay en mí sólo dicen una cosa: este tema está diseñado para exprimir dinero de los presupuestos estatales, ay.
Por cierto, en el libro no hay matemáticas (algunas propias, no copiadas de un libro de texto). Algunos hechizos en forma de fórmulas sólo.... No veo en las perspectivas científicas generales, al menos hasta que aparezca alguna idea realmente nueva en esta dirección. Pero esto requiere, en primer lugar, la investigación teórica (que nadie está haciendo), no la magia práctica. Hasta ahora, los chicos aparentemente no entienden realmente lo que quieren.
¿Así que quieren prohibir el uso aplicado de la CS y meter a los empollones teóricos en ello?
Incluso sin nerds está claro que sólo la señal más clara se filtrará a través de autocodificadores o MB, y todo lo demás se emborronará y se volverá invisible.
¿Así que quieres prohibir las aplicaciones de CS y poner a los empollones teóricos en su contra?
No, claro que no. Sólo combato en la medida de mis posibilidades los intentos de sustituir la ciencia, ya sea aplicada o teórica, por el chamanismo. Y eso es exactamente lo que está ocurriendo en el campo de la NS, que en realidad lleva una década estancada tanto en lo aplicado como en lo teórico.
¿Y cuál es el problema para la ciencia? ¿Quién prohíbe teorizar sobre el aprendizaje automático?
Otro compote es que toda esta teorización se puede refutar en un santiamén, porque hay repositorios abiertos con muestras de áreas aplicadas y hay paquetes de investigación ya hechos como R o Weka, con ayuda de los cuales cualquiera puede refutar fácilmente cualquier hipótesis teórica.
Es por la falta de problemas que el aprendizaje automático creció a pantalón corto, cuando sólo había teorías desnudas, pero los resultados prácticos en el campo de la generalizabilidad de los algoritmos no superaban el plinto. En cuanto se generalizó la disponibilidad de recursos informáticos, los científicos especializados en aplicaciones expulsaron del campo a los empollones teóricos.
¿Cuál es el problema para la ciencia? ¿Quién prohíbe teorizar sobre el aprendizaje automático?
Otro compote es que toda esta teorización se puede refutar en un santiamén, porque hay repositorios abiertos con muestras de campos aplicados y hay paquetes de investigación listos para usar, como R o Weka, con ayuda de los cuales cualquiera puede refutar fácilmente cualquier hipótesis teórica.
Es por la falta de problemas que el aprendizaje automático creció a pantalón corto, cuando sólo había teorías desnudas, pero los resultados prácticos en el campo de la generalizabilidad de los algoritmos no superaban el plinto. En cuanto se generalizó la disponibilidad de recursos computacionales, los científicos de las aplicaciones expulsaron del campo a los empollones de la teoría.
¿En qué discrepamos? Que los científicos aplicados desplacen a los empollones es, naturalmente, algo bueno. Además, con la disponibilidad de recursos computacionales, muchos problemas que antes había que plantearse teóricamente han pasado a ser resolubles. Pero eso no significa que los recursos informáticos vayan a resolver todos los problemas. La vía extensiva no es eterna, y sus posibilidades ya están llegando a su fin. Así que tarde o temprano tendremos que volver al botanismo.