Redes Neurais em IA e Deep Learning - página 10

[MetaQuotes]

Geoffrey Hinton y Yann LeCun, Conferencia del Premio ACM AM Turing 2018 "La revolución del aprendizaje profundo"

Geoffrey Hinton y Yann LeCun, Conferencia del Premio ACM AM Turing 2018 "La revolución del aprendizaje profundo"

Geoffrey Hinton y Yann LeCun ganaron el premio ACM AM Turing de 2018 y dieron una conferencia sobre la revolución del aprendizaje profundo.
En la conferencia, discutieron cómo el aprendizaje profundo ha revolucionado la informática y cómo se puede utilizar para beneficiar varios aspectos de la vida. También hablaron sobre los desafíos del aprendizaje profundo y el futuro del campo.
Señalaron que si bien la comprensión teórica del aprendizaje profundo es importante, aún depende de los humanos tomar decisiones en situaciones complejas. También discutieron el potencial de la computación evolutiva y otras formas de inteligencia artificial en la conducción autónoma.

• 00:00:00 Geoffrey Hinton y Yann LeCun pronuncian la conferencia del Premio ACM AM Turing 2018, hablando sobre la revolución del aprendizaje profundo. Discuten cómo el aprendizaje profundo ha revolucionado la informática y cómo los asistentes pueden beneficiarse de asistir a conferencias relacionadas.
  
  
• 00:05:00 Los tres ganadores del Premio ACM AM Turing 2018 son Geoffrey Hinton, Yoshua Bengio y Yann LeCun. Hinton dará una conferencia de historia sobre el desarrollo del aprendizaje profundo, mientras que Kuhn discutirá el progreso continuo del aprendizaje profundo.
  
  
• 00:10:00 En su conferencia del premio ACM AM Turing Award de 2018, Geoffrey Hinton analiza la revolución del aprendizaje profundo, que se basa en el enfoque de inspiración biológica de la inteligencia artificial. El enfoque de aprendizaje profundo es más eficiente y efectivo que el paradigma simbólico tradicional, pero también es más difícil de aprender.
  
  
• 00:15:00 En su conferencia del premio ACM AM Turing Award de 2018, Geoffrey Hinton habló sobre cómo funcionan las redes neuronales y explicó que son una versión simplificada de las neuronas reales en el cerebro. También explicó cómo la retropropagación es una versión eficiente del algoritmo de aprendizaje por refuerzo y cómo puede acelerar el proceso de entrenamiento de redes neuronales en un factor de 10 o más.
  
  
• 00:20:00 Geoffrey Hinton y Yann LeCun dieron una conferencia sobre la revolución del aprendizaje profundo en la ceremonia del Premio ACM Turing. Los dos discuten la propagación hacia atrás, el descenso de gradiente estocástico y cómo no ha tenido éxito en el aprendizaje a gran escala.
  
  
• 00:25:00 En esta conferencia, Geoffrey Hinton y Yann LeCun discuten la revolución del aprendizaje profundo, que involucró el desarrollo de redes neuronales más eficientes. Con el aumento del poder de cómputo disponible en los últimos años, las redes neuronales se han vuelto cada vez más poderosas y ahora son omnipresentes en varios campos de la visión por computadora.
  
  
• 00:30:00 Geoffrey Hinton y Yann LeCun dieron una charla sobre la historia del aprendizaje profundo y su estado actual, destacando los éxitos y desafíos del campo. También hablaron sobre el futuro de la visión artificial, destacando la importancia del aprendizaje profundo para lograr mejores resultados.
  
  
• 00:35:00 En su conferencia del premio ACM AM Turing Award de 2018, Geoffrey Hinton analiza la revolución del aprendizaje profundo y su importancia para la inteligencia artificial. Señala que, si bien el aprendizaje profundo es muy efectivo para lograr tareas específicas, no es la mejor manera de hacer una visión. Hinton sugiere que un aspecto de la revolución del aprendizaje profundo que se ha replicado en el cerebro es el uso de aparatos replicados. Lo demuestra haciendo que un participante señale las esquinas de un cubo que se gira de modo que la esquina superior trasera izquierda esté verticalmente por encima de la esquina delantera inferior derecha. Hinton explica que, si bien el aprendizaje profundo es efectivo para usar un conjunto específico de pesos para aproximar un resultado deseado, no es efectivo para preservar las simetrías de los objetos. Él predice que en el futuro, las redes neuronales podrán aprender a reconocer objetos usando una escala de tiempo diferente, que será análoga a cómo cambian las sinapsis en el cerebro.
  
  
• 00:40:00 En su conferencia del premio ACM AM Turing Award de 2018, Geoffrey Hinton analiza la revolución del aprendizaje profundo, que cree que se debe a la introducción gradual de nuevas escalas de tiempo en el proceso de aprendizaje. Analiza cómo la memoria del aprendizaje pasado se almacena en los pesos de una red neuronal y cómo se puede acceder a esta memoria utilizando pesos rápidos. Hinton también habla sobre el impacto de los grandes datos en el aprendizaje profundo y cómo los avances recientes en hardware y software informático han hecho que el aprendizaje profundo sea más accesible para los investigadores.
  
  
• 00:45:00 La conferencia de Geoffrey Hinton y Yann LeCun cubrió la revolución del aprendizaje profundo, cómo las representaciones jerárquicas son útiles y cómo funciona la red de crianza Pennebaker.
  
  
• 00:50:00 Geoffrey Hinton y Yann LeCun pronunciaron la conferencia del Premio ACM AM Turing 2018 sobre el aprendizaje profundo y su potencial para revolucionar varios aspectos de la vida. Su trabajo sobre la segmentación de imágenes y los coches autónomos fue uno de los más destacados.
  
  
• 00:55:00 Geoffrey Hinton y Yann LeCun dieron una conferencia sobre la revolución del aprendizaje profundo, discutiendo cómo los humanos y los animales pueden aprender de manera eficiente tan rápido. También discutieron cómo los humanos y los animales aprenden conceptos al observar y predecir el mundo.

[MetaQuotes]

Este genio canadiense creó la IA moderna

Este genio canadiense creó la IA moderna

Geoff Hinton, un pionero de la IA, ha estado trabajando para lograr que las computadoras aprendan como los humanos durante casi 40 años, y revolucionó el campo de la Inteligencia Artificial. Hinton se inspiró en el perceptrón de Frank Rosenblatt, una red neuronal que imita el cerebro, que se desarrolló en la década de 1950. La determinación de Hinton condujo a un gran avance en el campo de la IA. A mediados de los años 80, Hinton y sus colaboradores crearon una red neuronal de varias capas, una red neuronal profunda, que comenzó a funcionar de muchas maneras. Sin embargo, carecían de los datos necesarios y de la potencia informática hasta alrededor de 2006, cuando los chips súper rápidos y las cantidades masivas de datos producidos en Internet dieron a los algoritmos de Hinton un impulso mágico: las computadoras podían identificar lo que había en una imagen, reconocer el habla y traducir idiomas. En 2012, Canadá se convirtió en una superpotencia de IA, y las redes neuronales y el aprendizaje automático aparecieron en la portada del New York Times.

• 00:00:00 En esta sección, aprendemos sobre Geoff Hinton, quien ha estado trabajando para lograr que las computadoras aprendan como lo hacen los humanos durante casi 40 años. Esta búsqueda, que todos pensaban que era inútil, revolucionó el campo de la inteligencia artificial y empresas como Google, Amazon y Apple creen que es el futuro de sus empresas. La inspiración de Hinton provino de Frank Rosenblatt, quien desarrolló el perceptrón, una red neuronal que imita el cerebro, en la década de 1950. La red neuronal de Rosenblatt era limitada y no funcionaba bien, pero Hinton creía que las redes neuronales pueden funcionar ya que el cerebro es solo una gran red neuronal. La determinación de Hinton de perseguir su idea condujo a un gran avance en el campo de la inteligencia artificial, y las empresas creen que es el futuro de sus empresas.
  
  
• 00:05:00 En esta sección, el video analiza cómo, a mediados de los 80, Hinton y sus colaboradores progresaron en la creación de redes neuronales más complicadas que podían resolver problemas que las simples no podían. Crearon una red neuronal de varias capas, una red neuronal profunda, que comenzó a funcionar de muchas maneras. Sin embargo, tocaron techo ya que carecían de los datos necesarios y la potencia informática. A lo largo de la década de 1990 y hasta la década de 2000, Hinton fue una de las pocas personas que seguían buscando esta tecnología, y fue tratado como un paria. Hasta alrededor de 2006, cuando la llegada de chips súper rápidos y cantidades masivas de datos producidos en Internet dieron a los algoritmos de Hinton un impulso mágico: las computadoras podían identificar lo que había en una imagen, reconocer el habla y traducir idiomas. En 2012, las redes neuronales y el aprendizaje automático aparecían en la portada del New York Times, y Canadá se convirtió en una superpotencia de IA.

[MetaQuotes]

Geoffrey Hinton: Los fundamentos del aprendizaje profundo

Geoffrey Hinton: Los fundamentos del aprendizaje profundo

El padrino de la inteligencia artificial, Geoffrey Hinton, ofrece una descripción general de los fundamentos del aprendizaje profundo. En esta charla, Hinton analiza los avances de las redes neuronales, aplicados al reconocimiento de voz y objetos, la segmentación de imágenes y la lectura o la generación de lenguaje escrito natural.

Geoffrey Hinton analiza los fundamentos del aprendizaje profundo, en particular el algoritmo de retropropagación y su evolución. Hinton explica cómo el aprendizaje profundo afectó el reconocimiento temprano de la escritura a mano y finalmente lo llevó a ganar la competencia ImageNet 2012. También enfatiza la superioridad del aprendizaje profundo que usa vectores de actividad neuronal sobre la IA simbólica tradicional que usa los mismos símbolos en la entrada, la salida y el medio. Se analizan las mejoras en los sistemas de traducción automática, el reconocimiento de imágenes y su combinación para el razonamiento natural, junto con el potencial del aprendizaje profundo en la interpretación de imágenes médicas. Hinton concluye destacando la necesidad de redes neuronales con parámetros comparables al cerebro humano para lograr un verdadero procesamiento del lenguaje natural.

• 00:00:00 En esta sección, Hinton explica el concepto de retropropagación, que es el algoritmo fundamental utilizado en el aprendizaje profundo. Describe el método tradicional de programar una computadora escribiendo un programa a seguir, paso a paso, en comparación con el método preferido de decirle a una computadora cómo aprender a través de una red neuronal con un algoritmo de aprendizaje. Este método implica el uso de neuronas artificiales con líneas de entrada y pesos que se adaptan al cambiar la fuerza de esos pesos. Hinton también explica el proceso de adaptar esas conexiones mediante el uso de un algoritmo simple que funciona de manera similar a la idea de la evolución, donde las redes se pueden modificar hasta que hagan cosas buenas. Concluye esta sección describiendo cómo se puede usar el cálculo para hacer el mismo proceso de manera más eficiente.
  
  
• 00:05:00 En esta sección, Geoffrey Hinton explica las dificultades que tuvo el aprendizaje profundo en sus inicios, particularmente con el algoritmo de propagación hacia atrás. Al principio, la gente había renunciado a la retropropagación porque no funcionaba bien, pero se lograron pocos avances técnicos en Toronto, Montreal y Nueva York que la mejoraron exponencialmente con una gran cantidad de datos de etiquetas y mucha potencia informática, lo que ha también lo hizo escalable. Uno de los problemas prácticos que primero afectó el aprendizaje profundo fue el reconocimiento de escritura a mano. Un grupo de estudiantes intentó aplicar el algoritmo de Hinton al reconocimiento de voz, que en ese momento tenía solo unos pocos millones de ejemplos de entrenamiento, y no se consideraba práctico en términos de estadísticas. Sin embargo, pudieron predecir qué fonema se estaba diciendo y encadenar expresiones plausibles, y estos sistemas de reconocimiento de voz ahora se utilizan ampliamente en varios sistemas de extremo a extremo.
  
  
• 00:10:00 En esta sección, Geoffrey Hinton analiza cómo usaron redes neuronales de aprendizaje profundo para ganar la competencia ImageNet en 2012. El sistema pudo reconocer sujetos en las imágenes con casi la mitad de la tasa de error de los sistemas de visión artificial convencionales, que se había estancado en una tasa de error de alrededor del 25%. Este éxito tuvo un gran impacto ya que las personas se dieron cuenta del potencial de las redes neuronales de aprendizaje profundo en el reconocimiento de imágenes. Hinton también explica cómo se usan las redes recurrentes para manejar secuencias como el habla. Las neuronas ocultas se conectan entre sí, lo que permite que el sistema acumule información y aprenda a través de la retropropagación. Estos algoritmos se usaron más tarde para traducciones automáticas al codificar una oración en un idioma en un pensamiento y luego traducirla a una oración en otro idioma.
  
  
• 00:15:00 En esta sección, Geoffrey Hinton analiza el problema con la IA simbólica y cómo la forma actual de aprendizaje profundo resuelve ese problema. La visión tradicional de la IA simbólica suponía que el mismo tipo de símbolos utilizados en la entrada y la salida también se usaban en el medio, mientras que los expertos en aprendizaje profundo usan vectores de actividad neuronal para procesar datos. El texto de entrada se codifica en un vector que incorpora características aprendidas por la red. Luego, la red decodificadora toma este vector y produce el pensamiento, que luego se convierte en un nuevo idioma. Curiosamente, tales sistemas funcionan mejor sin dejar entrar demasiado conocimiento lingüístico. En su lugar, Google Translate usa un alfabeto fijo de 32 000 fragmentos de un idioma y entrena la red con retropropagación, donde comienza con pesos y volúmenes de datos aleatorios para mejorar los pesos de manera constante.
  
  
• 00:20:00 En esta sección, Geoffrey Hinton describe algunas de las mejoras realizadas en los sistemas de traducción automática, como la adición de atención y el uso de fragmentos de palabras en lugar de palabras completas. También analiza la combinación de reconocimiento de imágenes y generación de lenguaje, y cómo esto puede conducir al razonamiento natural en las máquinas. A pesar del éxito de estos sistemas, Hinton sugiere que necesitaremos redes neuronales con una serie de parámetros comparables al cerebro humano para lograr un verdadero procesamiento del lenguaje natural.
  
  
• 00:25:00 En esta sección, Geoffrey Hinton analiza el potencial de los algoritmos de aprendizaje profundo para superar el rendimiento humano en la interpretación de imágenes médicas. Señala que ya existe un sistema para detectar cánceres de piel que es tan bueno como el de un dermatólogo, y con mayor capacitación en más imágenes, podría funcionar significativamente mejor. Hinton también señala que una red neuronal entrenada en etiquetas producidas por médicos a veces puede superar a los propios médicos, ya que la red puede descubrir qué sucede cuando los médicos no están de acuerdo. Finalmente, cuenta la historia de un estudiante que ganó una competencia para predecir si una molécula se unirá a algo usando una red neuronal con múltiples capas de unidades lineales rectificadas y muchos más parámetros que casos de entrenamiento, y lo hizo sin saber el nombre del campo de estudio.

[MetaQuotes]

Héroes del aprendizaje profundo: Andrew Ng entrevista a Geoffrey Hinton

Héroes del aprendizaje profundo: Andrew Ng entrevista a Geoffrey Hinton

Geoffrey Hinton, una figura destacada en el aprendizaje profundo, habló sobre su viaje y contribuciones al campo en una entrevista con Andrew Ng. Habla sobre los orígenes de las incrustaciones de palabras, los desarrollos restringidos de las máquinas de Boltzmann y su trabajo reciente sobre pesas rápidas y cápsulas. Hinton destaca el papel crucial del aprendizaje no supervisado en los avances del aprendizaje profundo y aconseja a los alumnos que lean mucho, trabajen en proyectos a gran escala y busquen asesores con intereses similares. Hinton cree que se está produciendo un cambio significativo en la informática, donde las computadoras aprenden mostrando, y advierte que las universidades deben ponerse al día con la industria en la formación de investigadores para este nuevo enfoque.

• 00:00:00 Geoffrey Hinton habla sobre cómo se interesó en la IA y el aprendizaje automático. En la escuela secundaria, un amigo le presentó la idea del cerebro usando hologramas, lo que despertó su interés en cómo el cerebro almacena recuerdos. Estudió fisiología y física en la universidad, pero cambió a psicología cuando la encontró inadecuada para explicar el funcionamiento del cerebro. Después de tomarse un tiempo para ser carpintero, se fue a Edimburgo para estudiar IA con Longer Higgins, quien en ese momento se mostraba escéptico con respecto a las redes neuronales. Hinton finalmente obtuvo un doctorado en IA y se fue a California, donde pensar en cómo funciona el cerebro se consideraba algo positivo. Colaboró con David Rumelhart en el Algoritmo de retropropagación, que publicaron en 1986 y finalmente ayudó a la comunidad a aceptar el algoritmo.
  
  
• 00:05:00 En esta sección, Hinton analiza los orígenes de las incrustaciones de palabras, que permitieron que backprop aprendiera las representaciones de las palabras, y el hecho de que Stuart Sutherland quedó impresionado con la forma en que, entrenando un modelo en trillizos de palabras, el programa podía aprender características de la semántica como la nacionalidad, la generación y más. Hinton señala que el desarrollo de incrustaciones de palabras combinó dos visiones diferentes del conocimiento (la visión de un psicólogo de los conceptos como conjuntos de características con la visión de la IA de los conceptos como cómo se relacionan con otros conceptos), lo que impulsó la tasa de aceptación del artículo. A principios de los 90, Bengio demostró que los desarrolladores podían usar un enfoque similar para derivar incrustaciones de palabras a partir de datos, lo que impresionó a muchos. Posteriormente, Hinton habló sobre los desarrollos realizados con máquinas de Boltzmann restringidas (RBM), que fueron un factor importante en el resurgimiento de las redes neuronales profundas.
  
  
• 00:10:00 En esta sección, Geoffrey Hinton habla sobre su trabajo en el entrenamiento de máquinas Boltzmann restringidas con una capa de funciones ocultas y el uso de esas funciones aprendidas como datos para entrenar otra capa. Explica que este enfoque condujo al desarrollo de una forma eficiente de hacer inferencias en las redes de creencias sigmoideas, lo que supuso una mejora significativa con respecto a los métodos anteriores. También analiza su trabajo sobre métodos variacionales y el desarrollo de las matemáticas detrás del uso de unidades lineales rectificadas (ReLU) en redes neuronales. Finalmente, señala que en 2014 dio una charla en Google sobre el uso de ReLU y la inicialización con la matriz de identidad, que copia patrones en la capa inferior, lo que lleva a mejoras significativas en el entrenamiento de redes neuronales profundas.
  
  
• 00:15:00 Geoffrey Hinton habla de sus arrepentimientos por no perseguir la idea de inicializar redes con la identidad, lo que permitiría un entrenamiento eficiente de redes neuronales profundas. Comparte sus pensamientos sobre la relación entre la retropropagación y el cerebro, afirmando que si la retropropagación es un buen algoritmo para el aprendizaje, entonces el cerebro podría haber descubierto cómo implementarlo. Propone la idea de usar pesos rápidos que contienen memoria a corto plazo para lidiar con múltiples escalas de tiempo en el aprendizaje profundo, que presentó por primera vez en sus días de escuela de posgrado.
  
  
• 00:20:00 En esta sección de la entrevista, Geoffrey Hinton analiza su trabajo más reciente sobre pesos rápidos y llamadas recursivas, que implica el uso de pesos rápidos para almacenar la memoria de los estados de actividad de las neuronas durante una llamada recursiva. También habla sobre su idea de las cápsulas, que consiste en representar entidades multidimensionales mediante un vector y usar las actividades de diferentes neuronas para representar varios aspectos de esa característica. Las neuronas se agrupan en pequeños paquetes que representan diferentes coordenadas de la característica o subconjunto de cápsulas, cada una capaz de representar una instancia de una característica con muchas propiedades diferentes, en lugar de una propiedad escalar, como en las redes neuronales tradicionales. Estas cápsulas luego pueden enrutar información a través de un sistema de enrutamiento por acuerdo, lo que permite un mejor filtrado y generalización de redes neuronales a partir de datos limitados. A pesar de experimentar el rechazo de los artículos sobre esta idea, Hinton sigue siendo optimista y persistente en la búsqueda de cápsulas.
  
  
• 00:25:00 Geoffrey Hinton habla sobre cómo ha evolucionado su pensamiento sobre la IA y el aprendizaje profundo durante varias décadas. Habla sobre cómo inicialmente estaba interesado en la propagación hacia atrás y el aprendizaje discriminativo y luego cambió su enfoque al aprendizaje no supervisado a principios de los 90. Hinton también habla sobre cómo el aprendizaje supervisado ha funcionado increíblemente bien en la última década, pero aún cree que el aprendizaje no supervisado será crucial para futuros avances. Menciona codificadores automáticos variacionales y redes antagónicas generativas como ideas prometedoras para el aprendizaje no supervisado. Hinton también brinda consejos a las personas que desean ingresar al aprendizaje profundo, recomendando que lean tanto como puedan y traten de trabajar en un proyecto a gran escala para ganar experiencia.
  
  
• 00:30:00 En esta sección, la conversación gira en torno a los consejos para investigadores y estudiantes en el campo de la IA y el aprendizaje profundo. Hinton sugiere que los investigadores creativos deberían leer un poco de literatura y buscar algo que todos estén haciendo mal, y luego averiguar cómo hacerlo bien. También aconseja no dejar nunca de programar y confiar en la intuición. Alienta a los estudiantes de posgrado a encontrar un asesor que tenga creencias e intereses similares a los suyos para obtener los consejos más útiles. En términos de unirse a un programa de doctorado o a un grupo de investigación superior en una corporación, Hinton señala que actualmente hay una escasez de académicos capacitados en aprendizaje profundo, pero cree que será temporal a medida que los departamentos se pongan al día con el panorama cambiante de el campo.
  
  
• 00:35:00 Geoffrey Hinton explica que está ocurriendo un cambio significativo en el uso de las computadoras, donde en lugar de programarlas, ahora les mostramos y ellos lo resuelven. Este nuevo enfoque de la computación es diferente y significativo, y los departamentos de ciencias de la computación deben reconocer y dar la bienvenida al enfoque de demostración para que sea tan grande como la programación en el impacto de las ciencias de la computación. Aunque las grandes empresas ahora están capacitando a la gente en este nuevo enfoque, Hinton cree que no pasará mucho tiempo hasta que las universidades se pongan al día. Hinton continúa explicando el cambio de paradigma en la IA desde la creencia de que las representaciones necesarias para la inteligencia eran expresiones simbólicas de una lógica limpia a la visión actual de que los pensamientos son simplemente grandes vectores de actividad neuronal.

[MetaQuotes]

Héroes del aprendizaje profundo: Andrew Ng entrevista a Yann LeCun

Héroes del aprendizaje profundo: Andrew Ng entrevista a Yann LeCun

En esta entrevista entre Andrew Ng y Yann LeCun, LeCun habla sobre su interés inicial en la IA y el descubrimiento de las redes neuronales. También describe su trabajo sobre redes neuronales convolucionales y la historia detrás de las CNN.
LeCun habla sobre cómo persistió en el campo, a pesar de la falta de interés en las redes neuronales a mediados de los 90 y, finalmente, su trabajo en CNN se hizo cargo del campo de la visión artificial.
También analiza el momento decisivo en la visión por computadora cuando el equipo de AlexNet ganó la competencia ImageNet de 2012, y aconseja a aquellos que buscan una carrera en IA y aprendizaje automático que se vuelvan útiles contribuyendo a proyectos de código abierto o implementando algoritmos.

• 00:00:00 En esta sección, Yann LeCun habla sobre su temprano interés en la inteligencia artificial y cómo se topó con el concepto de redes neuronales. Describe cómo descubrió trabajos de investigación sobre las redes de perceptrones y autómatas, lo que lo inspiró a investigar cómo entrenar redes neuronales con múltiples capas. Esto lo llevó a conocer gente en un laboratorio independiente en Francia que estaba interesada en lo mismo y, en última instancia, a su trabajo con las máquinas de Boltzmann.
  
  
• 00:05:00 En esta sección, LeCun habla sobre cómo conoció a Terry Zaleski, que estaba trabajando en retropropagación en ese momento, y cómo ambos lo inventaron de forma independiente antes de conocerse. También menciona cómo comenzó a trabajar en redes convolucionales durante su tiempo en AT&T Bell Labs y cómo las probó en un pequeño conjunto de datos que creó dibujando caracteres con su mouse, y cómo esto condujo a la creación del conjunto de datos de USPS con 5000 entrenamientos. muestras Entrenó una red convolucional en este conjunto de datos y logró mejores resultados que otros métodos que se usaban en ese momento.
  
  
• 00:10:00 En esta sección de la entrevista, Yann LeCun analiza la historia de las redes neuronales convolucionales o CNN. Habla sobre la primera versión de la red comercial que desarrollaron en Bell Labs, que no tenía capas separadas de submuestreo y agrupación, y cómo tuvieron que realizar mejoras significativas en la red para reducir el tiempo de cómputo. LeCun también comparte una historia interesante sobre dar una charla en CNN, donde Geoff Hinton le dijo que "si haces todas las cosas sensatas, realmente funciona". Sin embargo, a pesar de los resultados prometedores, las CNN no se adoptaron ampliamente fuera de AT&T debido a la falta de Internet, software estandarizado y plataformas de hardware.
  
  
• 00:15:00 En esta sección, Yann LeCun analiza su trabajo sobre el reconocimiento de caracteres y cómo lo llevó a iniciar el proyecto "Digital Djvu" para almacenar y comprimir digitalmente documentos escaneados para compartirlos en Internet. También habla sobre cómo siempre creyó que las técnicas de aprendizaje profundo eventualmente se volverían útiles, especialmente con el poder creciente de las computadoras, pero debido a la falta de interés a mediados de los 90, hubo alrededor de 7 años en los que nadie investigaba las redes neuronales. . A pesar de este contratiempo, LeCun continuó persistiendo en el campo, y su trabajo en redes neuronales convolucionales se hizo cargo del campo de la visión por computadora y comenzó a invadir significativamente otros campos.
  
  
• 00:20:00 En esta sección del video, Yann LeCun describe el momento decisivo en la comunidad de visión por computadora cuando el equipo de AlexNet ganó la competencia ImageNet 2012 por un amplio margen, sorprendiendo a la mayoría de la comunidad. LeCun continúa discutiendo su punto de vista único sobre cómo se debe realizar la investigación corporativa, explicando que se le dio mucha libertad para configurar Facebook AI Research (FAIR) de la manera que pensó que era más apropiada, con énfasis en la investigación abierta. y colaboración con universidades. Incluso menciona que la gran mayoría de sus publicaciones en los últimos cuatro años fueron con sus alumnos de NYU.
  
  
• 00:25:00 En esta sección, Yann LeCun aconseja a aquellos que buscan una carrera en inteligencia artificial y aprendizaje automático que se vuelvan útiles contribuyendo a un proyecto de código abierto o implementando un algoritmo y poniéndolo a disposición de otros. Él cree que las herramientas y los recursos disponibles ahora facilitan que las personas se involucren en algún nivel, incluso los estudiantes de secundaria. Al hacer contribuciones interesantes y útiles, las personas pueden hacerse notar y potencialmente conseguir un trabajo en una empresa deseada o ser aceptadas en un programa de doctorado.

[MetaQuotes]

Héroes del aprendizaje profundo: Andrew Ng entrevista a Ian Goodfellow

Héroes del aprendizaje profundo: Andrew Ng entrevista a Ian Goodfellow

En una entrevista con Andrew Ng, Ian Goodfellow habla sobre su pasión por el aprendizaje profundo y cómo se interesó en el campo mientras estudiaba en Stanford. Goodfellow analiza su invención de las redes antagónicas generativas (GAN) y su potencial en el aprendizaje profundo, al mismo tiempo que enfatiza la necesidad de hacer que las GAN sean más confiables. Reflexiona sobre cómo ha evolucionado su pensamiento sobre la IA y el aprendizaje profundo a lo largo de los años, desde simplemente hacer que la tecnología funcione para tareas relacionadas con la IA hasta explorar todo el potencial de los modelos de aprendizaje profundo. Goodfellow también comparte consejos para aquellos que desean involucrarse en la IA, afirmando que es crucial escribir un buen código y construir seguridad en los algoritmos de aprendizaje automático desde el principio.

• 00:00:00 En esta sección, Ian Goodfellow explica cómo se interesó en el campo de la IA y el aprendizaje profundo, gracias a su asesor universitario en Stanford y la clase de IA en Internet de Andrew Ng. Explica cómo él y un amigo construyeron una de las primeras máquinas basadas en GPU CUDA en Stanford, y cómo esto lo llevó a su fuerte intuición de que el aprendizaje profundo era el camino a seguir en el futuro. Goodfellow continúa hablando sobre su invención de las GAN y cómo se le ocurrió el concepto mientras estudiaba modelos generativos. Por último, reflexiona sobre una experiencia personal que reafirmó su compromiso con la investigación en IA.
  
  
• 00:05:00 En esta sección, Ian Goodfellow analiza el potencial de las redes antagónicas generativas (GAN) y su futuro en el aprendizaje profundo. Explica que, aunque las GAN se utilizan actualmente para una variedad de tareas, a menudo pueden no ser confiables y estabilizarlas es un enfoque principal de su investigación. Goodfellow cree que si bien las GAN son importantes ahora, eventualmente serán reemplazadas por otras formas de modelos generativos si no se vuelven más confiables. También analiza su experiencia como coautor del primer libro de texto sobre aprendizaje profundo y enfatiza la importancia de comprender los principios matemáticos subyacentes para dominar el campo. Finalmente, Goodfellow reflexiona sobre cómo ha evolucionado su pensamiento sobre la IA y el aprendizaje profundo a lo largo de los años, desde simplemente hacer que la tecnología funcione para tareas relacionadas con la IA hasta explorar todo el potencial de los modelos de aprendizaje profundo.
  
  
• 00:10:00 En esta sección, Ian Goodfellow analiza la evolución del aprendizaje profundo y la gran cantidad de caminos que existen en la IA. Comparte consejos para aquellos que quieran involucrarse en la IA, afirmando que escribir un buen código y ponerlo en GitHub puede llamar la atención, y trabajar en un proyecto junto con la lectura de libros podría ser útil. También habla sobre la importancia de incorporar la seguridad en los algoritmos de aprendizaje automático desde el principio, en lugar de agregarla más adelante. Estas medidas garantizarían que los algoritmos sean seguros y evitarían que surgieran problemas de seguridad más adelante.

[MetaQuotes]

Héroes del aprendizaje profundo: Andrew Ng entrevista a Andrej Karpathy

Héroes del aprendizaje profundo: Andrew Ng entrevista a Andrej Karpathy

En una entrevista con Andrew Ng, Andrej Karpathy analiza su introducción al aprendizaje profundo a través de una clase con Geoff Hinton y cómo se convirtió en el punto de referencia humano para la competencia de clasificación de imágenes de ImageNet. Habla sobre los resultados sorprendentes cuando las redes profundas de software superaron su rendimiento y decidió enseñar a otros a través de la creación de un curso en línea. Karpathy también analiza el futuro de la IA y cómo es probable que el campo se divida en dos trayectorias: IA aplicada y AGI. Aconseja a aquellos que desean ingresar al campo del aprendizaje profundo que desarrollen una comprensión completa de toda la pila implementando todo desde cero.

• 00:00:00 En esta sección, Andrej Karpathy habla sobre cómo se interesó por primera vez en el aprendizaje profundo durante sus estudios universitarios en la Universidad de Toronto mientras tomaba una clase con Geoff Hinton. También explica cómo se convirtió en el punto de referencia humano para la competencia de clasificación de imágenes de ImageNet y creó una interfaz Javascript para comprender cómo se compara el punto de referencia con las capacidades humanas. Describe el desafío de categorizar imágenes de miles de categorías y la sorprendente constatación de que un tercio del conjunto de datos de ImageNet eran perros, lo que llevó a dedicar una cantidad de tiempo inusualmente larga a entrenar en especies de perros.
  
  
• 00:05:00 En esta sección, Andrej Karpathy habla de su sorpresa cuando las redes profundas de software superaron su desempeño en ciertas tareas. Habla de cómo la tecnología fue transformadora y decidió enseñarla a otros a través de la creación de un curso en línea. La capacidad de comprender la tecnología y el hecho de que sigue cambiando a diario es lo que entusiasmó a los estudiantes. Karpathy también habla sobre cómo el campo del aprendizaje profundo está evolucionando rápidamente y qué tan general se ha vuelto la tecnología. Le sorprende lo bien que funciona no solo para ImageNet, sino también para perfeccionar y transferir el aprendizaje. También le sorprende cómo el aprendizaje no supervisado todavía no ha cumplido la promesa que muchos investigadores esperaban.
  
  
• 00:10:00 En esta sección, Karpathy analiza el futuro de la IA y afirma que el campo probablemente se dividirá en dos trayectorias. La primera es la IA aplicada, que implica el uso de redes neuronales para el aprendizaje supervisado y posiblemente no supervisado, y la otra es AGI, que se enfoca en crear una única red neuronal que es un sistema dinámico completo. Siente que descomponer la IA en varias partes y luego juntarlas es incorrecto y, en cambio, aboga por usar una sola red neuronal como un agente completo para crear objetivos que puedan optimizar los pesos y obtener un comportamiento inteligente. Cuando se le preguntó sobre consejos para aquellos que desean ingresar al campo del aprendizaje profundo, Karpathy alienta a desarrollar una comprensión completa de toda la pila implementando todo desde cero, en lugar de simplemente trabajar con un marco como TensorFlow.
  

[MetaQuotes]

Héroes del aprendizaje profundo: Andrew Ng entrevista al director de investigación de inteligencia artificial de Apple, Ruslan Salakhutdinov

Héroes del aprendizaje profundo: Andrew Ng entrevista al director de investigación de inteligencia artificial de Apple, Ruslan Salakhutdinov

Ruslan Salakhutdinov, director de investigación de IA en Apple, analiza la evolución del aprendizaje profundo, los desafíos en el entrenamiento de modelos generativos y el aprendizaje no supervisado, y las fronteras emocionantes en la investigación del aprendizaje profundo. También alienta a los investigadores a explorar diferentes métodos y no tener miedo de innovar.
Salakhutdinov enfatiza la importancia de construir sistemas basados en el diálogo y que puedan leer texto de manera inteligente, y el objetivo final de lograr habilidades de aprendizaje más similares a las humanas.

• 00:00:00 En esta sección, Ruslan Salakhutdinov explica cómo se inició en el aprendizaje profundo, comenzando con un encuentro casual con Jeff Hinton, quien le presentó el concepto de usar máquinas restrictivas de Boltzmann y entrenamiento supervisado. Con la ayuda y orientación de Hinton, Salakhutdinov pudo ser coautor de uno de los primeros artículos sobre máquinas Boltzmann restringidas, que ayudó a impulsar el resurgimiento de las redes neuronales y el aprendizaje profundo. Sin embargo, a medida que mejoró el poder de cómputo, los investigadores se dieron cuenta de que no era necesario un entrenamiento previo usando máquinas Boltzmann restrictivas y pudieron entrenar modelos profundos directamente usando técnicas de optimización tradicionales.
  
  
• 00:05:00 En esta sección, Ruslan Salakhutdinov analiza la evolución del aprendizaje profundo y la importancia del entrenamiento previo en los primeros días cuando las computadoras eran más lentas. También menciona el desafío de entrenar modelos generativos y aprendizaje no supervisado en comparación con el aprendizaje supervisado. Si bien ha habido avances en el modelado generativo con técnicas como codificadores automáticos variacionales y modelos de energía como los de su propio laboratorio, cree que es necesario descubrir formas más eficientes y escalables de entrenar modelos no supervisados. Él enfatiza que esta es un área importante para aquellos interesados en el aprendizaje profundo para explorar.
  
  
• 00:10:00 En esta sección, Ruslan Salakhutdinov, director de investigación de IA en Apple, analiza los desafíos de hacer uso de una gran cantidad de datos sin etiquetar en el aprendizaje automático, así como consejos para aquellos que desean ingresar al campo. Alienta a los investigadores a probar diferentes métodos y no tener miedo de innovar, citando un ejemplo de cómo él y su equipo abordaron el difícil problema de optimizar sistemas altamente no convexos en redes neuronales. Salakhutdinov también analiza las ventajas y desventajas de hacer un doctorado en comparación con unirse a una empresa en el campo del aprendizaje profundo, y enfatiza que tanto la academia como la industria ofrecen oportunidades interesantes para la investigación y el desarrollo.
  
  
• 00:15:00 En esta sección, Ruslan Salakhutdinov analiza las emocionantes fronteras en la investigación del aprendizaje profundo, específicamente en áreas como el aprendizaje profundo reforzado, el razonamiento y la comprensión del lenguaje natural, y la capacidad de aprender con menos ejemplos. Señala que ha habido un gran progreso en el entrenamiento de la IA en mundos virtuales, y el desafío ahora radica en escalar estos sistemas, desarrollar nuevos algoritmos y hacer que los agentes de IA se comuniquen entre sí. Además, destaca la importancia de construir sistemas basados en diálogos y que puedan leer texto de forma inteligente. Finalmente, menciona el objetivo de lograr habilidades de aprendizaje más parecidas a las humanas.

[MetaQuotes]

Héroes del aprendizaje profundo: Andrew Ng entrevista a Yoshua Bengio

Héroes del aprendizaje profundo: Andrew Ng entrevista a Yoshua Bengio

Andrew Ng entrevista a Yoshua Bengio y discuten varios temas relacionados con el aprendizaje profundo. Bengio expresa cómo se metió en el aprendizaje profundo y cómo ha evolucionado su pensamiento sobre las redes neuronales.
También analiza sus contribuciones al desarrollo de incrustaciones de palabras para secuencias de palabras y aprendizaje profundo con pilas de codificadores automáticos. Además, Bengio enfatiza la importancia del aprendizaje no supervisado y su interés por comprender la relación entre el aprendizaje profundo y el cerebro.
Bengio destaca la necesidad de comprender la ciencia del aprendizaje profundo y la investigación adecuada para abordar grandes desafíos. Finalmente, se enfocan en la necesidad de un sólido conocimiento básico de matemáticas para una carrera en aprendizaje profundo y la importancia de la educación continua.

• 00:00:00 En esta sección, Yoshua Bengio habla sobre cómo se metió en el aprendizaje profundo, comenzando con su amor por la ciencia ficción y sus estudios de posgrado en 1985. Habla sobre su entusiasmo cuando descubrió el mundo del pensamiento sobre la inteligencia humana y cómo podría conectarse con la inteligencia artificial. Bengio también reflexiona sobre cómo ha evolucionado su pensamiento sobre las redes neuronales, desde los experimentos iniciales hasta el desarrollo de teorías y justificaciones sólidas de por qué ciertas técnicas, como backprop y depth, funcionan tan bien. Además, habla sobre su sorpresa de que la función ReLU funciona mejor que las no linealidades suaves tradicionales que inicialmente pensó que eran necesarias. Bengio enfatiza la importancia de la información distribuida a través de la activación de muchas neuronas y cómo se conecta con las ideas iniciales que lo entusiasmaron con las redes neuronales.
  
  
• 00:05:00 En esta sección, Yoshua Bengio analiza su trabajo inicial sobre el uso de redes neuronales para abordar la maldición de la dimensionalidad y crear distribuciones conjuntas eficientes sobre muchas variables aleatorias. También menciona su trabajo en la creación de incrustaciones de palabras para secuencias de palabras, lo que permite la generalización entre palabras con significados semánticos similares. Bengio continúa mencionando varios otros inventos o ideas importantes de su grupo de investigación, incluido el desarrollo del aprendizaje profundo con pilas de codificadores automáticos y el uso de la atención en la traducción automática neuronal. También analiza su interés en comprender la relación entre el aprendizaje profundo y el cerebro, y su trabajo para desarrollar un sistema similar a la retropropagación que podría implementar el cerebro.
  
  
• 00:10:00 En esta sección, Yoshua Bengio habla sobre su inspiración en los pensamientos de Geoff Hinton sobre cómo funciona el cerebro y el uso potencial del código temporal. Discute cómo el aprendizaje no supervisado es esencial, ya que permite la construcción de modelos mentales que explican el mundo sin datos etiquetados. También habla de su combinación de aprendizaje no supervisado y aprendizaje reforzado para obtener una mejor comprensión de los conceptos subyacentes desenredados entre sí al explorar y tratar de controlar las cosas. El problema con la investigación del aprendizaje no supervisado es que hay tantas formas diferentes de atacar este problema, y no existe una buena definición de lo que constituye una buena función objetivo para medir si un sistema está funcionando bien o no. Finalmente, Yoshua expresa que el estado actual del aprendizaje profundo todavía está lejos de donde le gustaría que estuviera, y se siente ambicioso de llevarlo al siguiente nivel.
  
  
• 00:15:00 En esta sección, Yoshua Bengio habla sobre su entusiasmo por la investigación centrada en los principios fundamentales de cómo las computadoras pueden observar e interactuar con el mundo para descubrir cómo funciona. Habla sobre cómo dicha investigación conducirá a una mejor comprensión de cómo funciona el mundo y espera que ayude a abordar grandes desafíos, como la transferencia del aprendizaje y los problemas de la nación conjunta. Bengio señala que la experimentación con problemas más pequeños puede conducir a ciclos de investigación más rápidos y una mejor comprensión, que eventualmente puede ampliarse. Él enfatiza la importancia de comprender lo que está sucediendo en el aprendizaje profundo y la necesidad de compartir pensamientos sobre la ciencia del aprendizaje profundo.
  
  
• 00:20:00 En esta sección, Yoshua Bengio, una figura reconocida en el aprendizaje profundo, discutió la importancia de comprender los fenómenos de interés y realizar una investigación adecuada, en lugar de esforzarse únicamente por superar a los puntos de referencia o competidores. Para las personas que desean ingresar al campo, enfatizó la necesidad de práctica, incluida la lectura, la codificación y la experimentación. Bengio afirmó que, si bien una sólida formación en ciencias de la computación y matemáticas es útil, las personas sin conocimientos previos de aprendizaje automático aún pueden aprender y volverse competentes en unos pocos meses.
  
  
• 00:25:00 En este extracto, Andrew Ng y Yoshua Bengio analizan la importancia de tener un sólido conocimiento básico de matemáticas, como álgebra, optimización y cálculo, al seguir una carrera en aprendizaje profundo. Bengio enfatiza la necesidad de educación continua y aprendizaje continuo para mantenerse actualizado en el campo. Ambos expresan su gratitud por la oportunidad de compartir sus puntos de vista y conocimientos con los demás.

[MetaQuotes]

Héroes del aprendizaje profundo: Andrew Ng entrevista a Pieter Abbeel

Héroes del aprendizaje profundo: Andrew Ng entrevista a Pieter Abbeel

Pieter Abbeel analiza los desafíos y el potencial del aprendizaje por refuerzo profundo en esta entrevista con Andrew Ng. Señala la necesidad de seguir trabajando en la exploración, la asignación de créditos y la generación de ejemplos negativos.
Abbeel también destaca las preocupaciones de seguridad y la importancia de recopilar datos de aprendizaje seguros cuando se enseña a los robots a vivir de forma autónoma. Aconseja a las personas que busquen práctica práctica con marcos populares y sugiere los beneficios de recibir tutoría de profesionales experimentados.
Además, sugiere la necesidad del aprendizaje por refuerzo al dar a las máquinas objetivos de logro y señala la importancia de la clonación del comportamiento y el aprendizaje supervisado antes de agregar el componente de aprendizaje por refuerzo.

• 00:00:00 En esta sección, Pieter Abbeel habla sobre cómo se interesó inicialmente en la ingeniería debido a sus intereses en matemáticas y física, y cómo eso finalmente lo llevó al aprendizaje automático y al aprendizaje profundo por refuerzo. Habla sobre los desafíos que aún existen en el aprendizaje de refuerzo profundo, como la exploración y la asignación de créditos, y cómo aún existe la necesidad de generar ejemplos negativos para mejorar estos sistemas. También señala que los éxitos del aprendizaje por refuerzo profundo han sido principalmente en horizontes de tiempo cortos y que todavía queda mucho trabajo por hacer en este campo para permitir que los sistemas razonen en marcos de tiempo más largos.
  
  
• 00:05:00 En esta sección de la entrevista, Pieter Abbeel analiza los desafíos de enseñar a un robot o agente de software a vivir una vida autónoma, y señala que la seguridad plantea una serie de problemas, incluida la recopilación de datos de aprendizaje seguros. También comparte su entusiasmo por explorar y reforzar activamente los algoritmos de aprendizaje para crear mecanismos más eficientes que puedan reemplazar el diseño humano en el futuro. Finalmente, ofrece consejos para aquellos que buscan una carrera en inteligencia artificial, destacando que el campo ofrece grandes oportunidades de trabajo y sugiere material de aprendizaje en línea como los cursos de aprendizaje profundo de Andrew Ng y Berkeley para comenzar.
  
  
• 00:10:00 En esta sección, Pieter Abbeel analiza cómo comenzar a aprender sobre el aprendizaje profundo y el aprendizaje automático, enfatizando la importancia de la práctica práctica y la experimentación con marcos populares como TensorFlow y PyTorch. También analiza los pros y los contras de obtener un doctorado en comparación con conseguir un trabajo en una gran empresa, destacando las ventajas de recibir tutoría de profesionales experimentados. Luego, Abbeel continúa describiendo algunos de los éxitos del aprendizaje de refuerzo profundo, como un robot que aprende a correr o jugar juegos clásicos de Atari desde cero, pero señala que el siguiente paso es descubrir cómo reutilizar este conocimiento aprendido para tareas futuras. También predice que muchas empresas dependerán del aprendizaje supervisado con asistencia humana en el futuro inmediato.
  
  
• 00:15:00 En esta sección, Pieter Abbeel sugiere el uso del aprendizaje por refuerzo para dar a las máquinas objetivos de logro en lugar de simplemente igualar las acciones humanas. La máquina se entrenará mediante clonación de comportamiento o aprendizaje supervisado antes de agregar el componente de aprendizaje por refuerzo. Este enfoque requiere mucho tiempo pero es efectivo para desarrollar máquinas que puedan lograr los objetivos establecidos. El aprendizaje por refuerzo por sí solo puede ser peligroso y llevar mucho tiempo.