Redes Neurais em IA e Deep Learning - página 2

[MetaQuotes]

MIT 6.S191: Modelado generativo profundo

Clase 4. MIT 6.S191: Modelado generativo profundo

Este video analiza cómo se puede usar el modelado generativo profundo para aprender una representación más fluida y completa de los datos de entrada, que luego se pueden usar para generar nuevas imágenes. La clave de DGM es introducir una distribución de probabilidad para cada variable latente, lo que permite que la red tome muestras de esa distribución latente para generar nuevos datos.

• 00:00:00 En esta conferencia, Ava explica cómo se pueden usar modelos generativos profundos para aprender distribuciones de probabilidad subyacentes a conjuntos de datos. Muestra cómo dos métodos, la estimación de la densidad y la generación de muestras, funcionan en la práctica.
  
  
• 00:05:00 En este video, el presentador explica cómo se pueden usar los modelos generativos para aprender las características subyacentes de un conjunto de datos. Esto puede ser útil en aplicaciones como detección facial o detección de valores atípicos.
  
  
• 00:10:00 El codificador automático es un poderoso algoritmo de aprendizaje automático que permite la compresión de datos de entrada de alta dimensión en un espacio latente de menor dimensión. Este espacio latente se puede usar para codificar los datos para una reconstrucción posterior. Con un codificador automático variacional, el espacio latente es probabilístico, lo que permite reconstrucciones más realistas y precisas de los datos de entrada.
  
  
• 00:15:00 El video analiza cómo se puede usar el modelado generativo profundo (DGM) para aprender una representación más fluida y completa de los datos de entrada, que luego se pueden usar para generar nuevas imágenes. La clave de DGM es introducir una distribución de probabilidad para cada variable latente, lo que permite que la red tome muestras de esa distribución latente para generar nuevos datos. La pérdida de la red ahora está compuesta por el término de reconstrucción y el término de regularización, lo que impone cierta estructura en la distribución de probabilidad de las variables latentes. La red se entrena para optimizar la pérdida con respecto a los pesos de la red, y los pesos se actualizan iterativamente durante el entrenamiento.
  
  
• 00:20:00 El video analiza cómo un término de regularización, d, ayuda a minimizar la distancia entre la distribución latente inferida y una previa. También muestra cómo el previo normal puede ayudar a lograr esto.
  
  
• 00:25:00 El video analiza cómo se usa el modelado generativo profundo para reconstruir una entrada a partir de un conjunto de puntos de datos. El método consiste en imponer una regularización de base normal sobre el espacio latente, lo que ayuda a suavizarlo y completarlo. Esto, a su vez, permite la propagación hacia atrás de los gradientes a través de la capa de muestreo, lo que resuelve el problema de la estocasticidad que impide la propagación directa de los gradientes a través de la red.
  
  
• 00:30:00 Este video explica cómo se pueden usar modelos de variables latentes (como codificadores automáticos variacionales o Beta Vaes) para codificar características que son importantes en un conjunto de datos. Esto permite modelos de aprendizaje automático más imparciales, ya que las características importantes se codifican automáticamente.
  
  
• 00:35:00 Las GAN usan una red generadora para generar muestras que son similares a los datos reales, mientras que una red adversaria intenta distinguir las muestras falsas de las reales. Después del entrenamiento, el generador y el discriminador pueden separar los datos falsos de los datos reales con una precisión casi perfecta.
  
  
• 00:40:00 El video analiza la función de pérdida para modelos generativos profundos, que se reduce a conceptos que se han presentado en conferencias anteriores. El objetivo de la red discriminadora es identificar datos falsos, y el objetivo de la red generadora es generar datos lo más cerca posible de la distribución de datos reales. La red del generador de trenes sintetiza nuevas instancias de datos que se basan en una distribución de ruido gaussiano completamente aleatorio. Si consideramos un punto en esta distribución de ruido, un punto en la distribución de datos reales y un punto en la distribución de datos de destino, podemos ver que el generador está aprendiendo a generar datos que se encuentran en algún lugar entre estos puntos. Esta idea de transformación y recorrido de dominio en variedades de datos complejos se analiza con más detalle y se muestra cómo los gans son una arquitectura poderosa para generar ejemplos de datos realistas.
  
  
• 00:45:00 El video analiza algunos avances recientes en el modelado generativo profundo, incluidas las mejoras en la arquitectura y la transferencia de estilo. Continúa describiendo el modelo de ciclogan, que permite la traducción entre dominios con datos completamente desapareados.
  
  
• 00:50:00 En esta parte, Ava analiza los dos modelos generativos principales utilizados en el aprendizaje profundo, los codificadores automáticos variacionales y los codificadores automáticos, y explica cómo funcionan. También menciona el ciclo gan, un poderoso transformador de distribución que se puede usar junto con estos modelos. El autor concluye la conferencia instando a los asistentes a asistir a la parte de laboratorio del curso, que seguirá inmediatamente después.

[MetaQuotes]

MIT 6.S191: Aprendizaje por refuerzo

Clase 5. MIT 6.S191: Aprendizaje por refuerzo

En este video, Alexander Amini analiza el concepto de aprendizaje por refuerzo y cómo se puede usar para entrenar una red neuronal. Comienza explicando cómo funciona el aprendizaje por refuerzo y cómo se puede utilizar en escenarios del mundo real. Luego continúa discutiendo cómo entrenar una red de gradiente de políticas. Finalmente, concluye el video discutiendo cómo actualizar el gradiente de políticas en cada iteración del ciclo de entrenamiento.

• 00:00:00 En este video, aprendemos sobre el aprendizaje por refuerzo, un tipo de aprendizaje automático en el que se entrena un modelo de aprendizaje profundo sin tener conocimiento previo de los datos de entrada. En el aprendizaje por refuerzo, el modelo de aprendizaje profundo se coloca en un entorno dinámico y tiene la tarea de aprender cómo realizar una tarea sin ninguna guía humana. Esto tiene enormes implicaciones en una variedad de campos, como la robótica, el juego y los autos sin conductor.
  
  
• 00:05:00 En el aprendizaje por refuerzo, el agente es la entidad que realiza acciones en el entorno, y el entorno es el mundo en el que el agente existe y realiza acciones. El agente puede enviar comandos al entorno en forma de acciones, y un estado es una situación concreta e inmediata en la que se encuentra el agente en ese momento. El agente también puede obtener recompensas del entorno.
  
  
• 00:10:00 Esta parte de la lección sobre el aprendizaje por refuerzo describe los conceptos de recompensa, gamma y la función q. La función q toma como entrada el estado y la acción actuales, y devuelve la suma futura total esperada de recompensas que un agente puede recibir después de esa acción. La función q se puede utilizar para determinar la mejor acción a realizar en un estado dado, dado el estado y la acción actuales.
  
  
• 00:15:00 En esta parte, Alexander Amini presenta el juego de ruptura de Atari y su función q asociada. Continúa discutiendo los algoritmos de aprendizaje de valor, que se basan en tratar de encontrar una función q que maximice las recompensas futuras. Luego presenta un algoritmo de aprendizaje de políticas, que es una forma más directa de modelar el problema del aprendizaje por refuerzo. Se analizan brevemente tanto el aprendizaje de valores como el aprendizaje de políticas, y se muestran los resultados de un estudio sobre el aprendizaje de valores.
  
  
• 00:20:00 El video analiza el aprendizaje por refuerzo, o el proceso de aprendizaje para optimizar una decisión al experimentar con una variedad de acciones y resultados posibles. El video muestra dos ejemplos de cómo se puede comportar un agente, uno donde el agente es muy conservador y otro donde el agente es más agresivo. Luego, el video continúa discutiendo cómo entrenar una red neuronal para aprender la función q, que es la acción óptima para tomar dado un estado y una acción.
  
  
• 00:25:00 Esta parte trata sobre cómo entrenar a un agente de aprendizaje por refuerzo de valor q. El valor q es una medida de la importancia relativa de diferentes resultados y se utiliza para estructurar la red neuronal. Se calcula el rendimiento esperado para cada acción posible y se determina la mejor acción maximizando este rendimiento esperado. La función de pérdida de valor q se utiliza para entrenar la red neuronal y el valor objetivo se determina observando las recompensas recibidas por cada acción.
  
  
• 00:30:00 En el aprendizaje por refuerzo, el comportamiento de un agente se modifica utilizando la retroalimentación de un entorno para maximizar una recompensa. Los métodos de gradiente de políticas son una nueva clase de algoritmos de aprendizaje por refuerzo que son más flexibles y eficientes que los algoritmos de aprendizaje por valor.
  
  
• 00:35:00 En esta parte, Alexander Amini presenta el aprendizaje por refuerzo, un método para aprender a actuar en presencia de recompensas y castigos. En el aprendizaje por refuerzo, la política de un agente se define como una función que toma un estado (el entorno en el que se encuentra el agente) y genera una probabilidad de realizar una acción específica en ese estado. Luego, esta probabilidad se usa para entrenar una red neuronal para predecir la próxima acción del agente, según el estado actual y las recompensas y castigos pasados. Las ventajas de este enfoque de aprendizaje son que puede manejar espacios de acción continuos y que los métodos de gradiente de políticas se pueden usar para modelar acciones continuas con alta precisión.
  
  
• 00:40:00 En este video, Alexander Amini analiza cómo se pueden usar los gradientes de políticas para mejorar el rendimiento de los algoritmos de aprendizaje por refuerzo. Comienza describiendo un espacio continuo y cómo se pueden usar integrales en lugar de sumas discretas. Luego pasa a analizar cómo funcionan los gradientes de políticas en un ejemplo concreto y analiza cómo entrenar una red de gradientes de políticas. Concluye el video discutiendo cómo actualizar el gradiente de la política en cada iteración del ciclo de entrenamiento.
  
  
• 00:45:00 Esta parte presenta un método para entrenar una red neuronal utilizando el aprendizaje por refuerzo. El video explica cómo funciona el aprendizaje por refuerzo y cómo se puede utilizar en escenarios del mundo real.
  
  
• 00:50:00 En este video, Alexander Amini analiza algunos de los avances recientes en el aprendizaje por refuerzo, específicamente en el área de Go. Alpha Zero, un proyecto de Google DeepMind, pudo superar a los mejores jugadores humanos del mundo. En la próxima conferencia, Nielsen discutirá la literatura sobre aprendizaje profundo y sus limitaciones. Con suerte, esto motivará a los estudiantes a continuar aprendiendo y avanzando en el campo.

[MetaQuotes]

MIT 6.S191 (2022): Nuevas fronteras del aprendizaje profundo

Clase 6. MIT 6.S191 (2022): Deep Learning New Frontiers

La conferencia "Deep Learning New Frontiers" del MIT 6.S191 cubre una variedad de temas. La profesora Ava Soleimany explica los distintos plazos del curso, presenta a los ponentes invitados y analiza las fronteras actuales de la investigación. También se abordan las limitaciones de las redes neuronales profundas con respecto al teorema de aproximación universal, la generalización, la calidad de los datos, la incertidumbre y los ataques de adversarios. Además, se analizan las redes neuronales de convolución de gráficos y sus aplicaciones potenciales en diferentes dominios, como el descubrimiento de fármacos, la movilidad urbana y el pronóstico de COVID-19. Finalmente, la conferencia explora el tema del aprendizaje automático automatizado (autoML) y cómo puede ayudar en el diseño de modelos de aprendizaje profundo y aprendizaje automático de alto rendimiento. El disertante concluye enfatizando la importancia de la conexión y distinción entre el aprendizaje humano, la inteligencia y los modelos de aprendizaje profundo.

• 00:00:00 En esta sección, Ava brinda información logística sobre las camisetas de la clase y las próximas fechas límite para los laboratorios y proyectos finales. También presentan las conferencias invitadas restantes y tocan nuevas fronteras de investigación que se cubrirán. Se lanzó el laboratorio de aprendizaje de refuerzo y la fecha de vencimiento para los tres laboratorios es mañana por la noche, pero no es necesario enviarlos para recibir una calificación aprobatoria. Se requiere enviar una revisión de un documento de aprendizaje profundo o una presentación final del proyecto para obtener crédito en el curso. El concurso de propuesta de proyecto final requiere la presentación de los nombres de los grupos antes de la medianoche de esta noche, y se resumen las instrucciones para el informe en papel de aprendizaje profundo.
  
  
• 00:05:00 En esta sección, el orador analiza la increíble lista de conferencias invitadas programadas para las próximas sesiones del curso. Los oradores invitados incluyen representantes de la empresa emergente de automóviles autónomos Innoviz, Google Research y Google Brain, Nvidia y Caltech, y Rev AI. El ponente destaca la importancia de asistir a las conferencias de forma sincronizada para garantizar el pleno acceso a los contenidos. El orador también resume el contenido cubierto en el curso hasta el momento, enfatizando el poder de los algoritmos de aprendizaje profundo y su potencial para revolucionar una variedad de campos. El ponente también destaca el papel de las redes neuronales como potentes aproximadores de funciones, mapeando desde los datos hasta la decisión o viceversa.
  
  
• 00:10:00 En esta sección, el orador analiza el teorema de aproximación universal, que establece que una red neuronal de alimentación directa de una sola capa es suficiente para aproximar cualquier función continua arbitraria con cierta precisión. Si bien esta es una declaración poderosa, el teorema tiene algunas advertencias, incluida la falta de afirmaciones o garantías sobre la cantidad de neuronas necesarias y cómo encontrar pesos que puedan resolver el problema. Además, el teorema no hace afirmaciones sobre la generalización de la red neuronal más allá del entorno en el que se entrenó. El ponente destaca la importancia de tener cuidado con la forma en que se comercializan y publicitan estos algoritmos debido a las posibles preocupaciones que podrían surgir. La sección también profundiza en las limitaciones de las arquitecturas modernas de aprendizaje profundo, comenzando con el problema de la generalización y un artículo que exploró este problema con imágenes del famoso conjunto de datos de ImageNet.
  
  
• 00:15:00 En esta sección, el video analiza las limitaciones de las redes neuronales profundas y su capacidad para adaptarse perfectamente a datos totalmente aleatorios. Si bien las redes neuronales son excelentes aproximadores de funciones que pueden ajustarse a alguna función arbitraria, incluso si tiene etiquetas aleatorias, tienen una capacidad limitada para generalizar a regiones fuera de distribución donde no hay garantías sobre cómo podría comportarse la función. Esto destaca la necesidad de establecer garantías sobre los límites de generalización de las redes neuronales y utilizar esta información para informar los procesos de capacitación, aprendizaje y despliegue. El video también advierte contra la creencia popular de que el aprendizaje profundo es una solución mágica para cualquier problema y enfatiza la importancia de comprender las limitaciones y suposiciones de estos modelos.
  
  
• 00:20:00 En esta sección, se enfatiza la importancia de la calidad de los datos utilizados para entrenar modelos de aprendizaje profundo. Se describe un modo de falla de las redes neuronales a través de un ejemplo en el que una imagen en blanco y negro de un perro pasó a través de una arquitectura de red neuronal convolucional para la colorización. La red predijo una región rosada debajo de la nariz del perro, que debería haber sido el pelaje, debido a la naturaleza de los datos con los que fue entrenado, que incluía muchas imágenes de perros sacando la lengua. El ejemplo destaca el poder de los modelos de aprendizaje profundo para construir representaciones basadas en los datos que han visto durante el entrenamiento. Luego, la sección analiza las consecuencias de encontrar ejemplos del mundo real que están fuera de la distribución de capacitación, como se vio en un trágico incidente que involucró a un vehículo Tesla autónomo que no reaccionó de manera efectiva a un accidente, lo que finalmente resultó en la muerte del conductor. Se enfatiza la importancia de comprender las limitaciones de las predicciones de los modelos de aprendizaje profundo, especialmente en aplicaciones críticas para la seguridad.
  
  
• 00:25:00 En esta sección, el presentador analiza la noción de incertidumbre en el aprendizaje profundo, que es crucial para construir modelos neuronales que puedan manejar conjuntos de datos escasos, ruidosos o limitados, incluidas las características desequilibradas. Hay dos tipos de incertidumbres en los modelos neuronales profundos; incertidumbre aleatoria e incertidumbre epistémica, que pueden resultar del ruido de datos, la variabilidad o la prueba de un ejemplo fuera del dominio. Estas incertidumbres representan la confianza del modelo en sus predicciones y pueden afectar su efectividad al manejar diferentes tipos de datos. Además, los ejemplos contradictorios, que son instancias sintéticas creadas para engañar a los modelos de aprendizaje profundo, presentan un tercer modo de falla que debe tenerse en cuenta. La conferencia invitada de Jasper sobre este tema es muy recomendable para explorar el debate sobre si estos dos tipos de incertidumbres capturan todas las posibilidades y para analizar los avances recientes en la investigación en este campo.
  
  
• 00:30:00 En esta sección del video, el disertante analiza el concepto de ataques adversarios, donde se aplica una perturbación a una imagen que es imperceptible para los ojos humanos pero tiene un impacto significativo en la decisión de una red neuronal, lo que resulta en la clasificación errónea de la imagen La perturbación se construye inteligentemente para que funcione eficazmente como un adversario, y las redes neuronales se pueden entrenar para aprender esta perturbación. El disertante también aborda brevemente el tema del sesgo algorítmico, donde los modelos de redes neuronales y los sistemas de IA pueden ser susceptibles a sesgos que pueden tener consecuencias sociales reales y perjudiciales, y en el segundo laboratorio se exploraron estrategias para mitigar el sesgo algorítmico. Estas limitaciones son solo la punta del iceberg y hay más limitaciones a considerar.
  
  
• 00:35:00 En esta sección, el ponente analiza el uso de estructuras gráficas como modalidad de datos para el aprendizaje profundo y cómo puede inspirar un nuevo tipo de arquitectura de red relacionada con las redes neuronales convolucionales pero diferente. Las estructuras gráficas pueden representar una amplia variedad de tipos de datos, desde redes sociales hasta proteínas y moléculas biológicas. Las redes neuronales convolucionales de gráficos funcionan tomando un conjunto de nodos y bordes como entrada en lugar de una matriz 2D y recorriendo el gráfico con un núcleo de peso para extraer características que preservan la información sobre la relación de los nodos entre sí. Este campo emergente en el aprendizaje profundo permite capturar geometrías y estructuras de datos más complicadas más allá de las codificaciones estándar.
  
  
• 00:40:00 En esta sección, el orador analiza las redes convolucionales de grafos y sus aplicaciones en varios dominios, incluida la química y el descubrimiento de fármacos, la movilidad urbana y el pronóstico de COVID-19. Las redes convolucionales de gráficos permiten la extracción de características sobre la conectividad local y la estructura de un gráfico, lo que permite que el proceso de aprendizaje recoja pesos que pueden extraer información sobre patrones de conectividad. Además, el orador explica cómo las redes neuronales convolucionales gráficas se pueden extender a conjuntos de datos de nubes de puntos, al imponer una estructura gráfica en la variedad de nubes de puntos 3D.
  
  
• 00:45:00 En esta sección, el orador analiza la nueva frontera del aprendizaje automático automatizado y aprender a aprender. El objetivo es construir un algoritmo de aprendizaje que pueda resolver el problema de diseño de arquitecturas de redes neuronales y predecir el modelo más efectivo para resolver un problema determinado. El marco de automl original utilizó una configuración de aprendizaje de refuerzo con una red neuronal controladora y un circuito de retroalimentación para mejorar iterativamente las propuestas de arquitectura del modelo. Recientemente, automl se ha extendido a la búsqueda de arquitectura neuronal, donde el objetivo es buscar diseños e hiperparámetros óptimos. Este nuevo campo de investigación podría revolucionar la forma en que diseñamos modelos de aprendizaje automático y optimizamos su rendimiento.
  
  
• 00:50:00 En esta sección, el disertante analiza el concepto de automl (aprendizaje automático automático) y su capacidad para diseñar modelos de aprendizaje automático y aprendizaje profundo de alto rendimiento. La idea de automl ha ganado popularidad en las canalizaciones modernas de diseño de aprendizaje automático y aprendizaje profundo, particularmente en aplicaciones industriales donde sus algoritmos han tenido éxito en la creación de arquitecturas que funcionan muy bien. El disertante presenta un ejemplo de cómo las arquitecturas propuestas por un algoritmo automático lograron una precisión superior en una tarea de reconocimiento de imágenes con menos parámetros que las diseñadas por humanos. Automl se ha ampliado al concepto más amplio de inteligencia artificial automática, en el que algoritmos de IA diseñan y optimizan canalizaciones completas de procesamiento de datos y predicción de aprendizaje. El disertante concluye alentando a la audiencia a pensar sobre las implicaciones de diseñar IA que pueda generar nuevos modelos que tengan un alto rendimiento en tareas de interés y las conexiones y distinciones entre el aprendizaje humano, la inteligencia y los modelos de aprendizaje profundo.

[MetaQuotes]

MIT 6.S191: LiDAR para conducción autónoma

Clase 7. MIT 6.S191: LiDAR para conducción autónoma

El video "MIT 6.S191: LiDAR para conducción autónoma" presenta el desarrollo de la tecnología LiDAR para vehículos autónomos de Innoviz, destacando los beneficios y la importancia de las capacidades de predicción y visibilidad del sistema. El orador explica los diversos factores que afectan la relación señal-ruido del sistema LiDAR, la importancia de la redundancia en el uso del sensor y la necesidad de alta resolución y eficiencia computacional para detectar objetos relevantes para colisiones. También discuten los desafíos de las redes de aprendizaje profundo en la detección y clasificación de objetos, las diferentes representaciones de datos LiDAR y la fusión de enfoques de agrupamiento y aprendizaje profundo para la detección de objetos y la precisión del cuadro de límite. Además, el video toca las compensaciones entre FMCW y LiDAR de tiempo de vuelo. En general, la discusión enfatiza el papel fundamental de LiDAR en la mejora de la seguridad y el futuro de la conducción autónoma.

• 00:00:00 En esta sección, el orador presenta Innoviz y su desarrollo de Lidars para vehículos autónomos, centrándose específicamente en cómo están ayudando a los fabricantes de automóviles a alcanzar sus objetivos en el desarrollo de vehículos autónomos. El orador analiza el estado actual de la conducción autónoma y los problemas de responsabilidad que surgen de los accidentes que ocurren debido a que el fabricante de automóviles no asume toda la responsabilidad. También explican el uso de la tecnología Lidar, que utiliza un rayo láser para escanear la escena y recolectar fotones de los objetos. El ponente destaca la importancia de tener una buena visibilidad y una predicción de lo que sucede en la carretera para una conducción autónoma exitosa.
  
  
• 00:05:00 En esta sección, el ponente explica cómo funciona LiDAR en la conducción autónoma y los diversos factores que afectan la relación señal/ruido. El sistema LiDAR utiliza fotones que rebotan para determinar la distancia de los objetos y la relación señal-ruido está determinada por la emisión, la apertura, la eficiencia de detección de fotones, el ruido del detector y el ruido solar. El orador también explica cómo Innoviz 2, un sistema LiDAR de segunda generación, es significativamente mejor que cualquier otro sistema disponible en el mercado porque puede cubrir un campo de visión más amplio y un rango de distancia con mayor resolución. El orador también analiza los diferentes requisitos para las aplicaciones de conducción autónoma, como las autopistas, y cómo LiDAR puede admitir estas aplicaciones.
  
  
• 00:10:00 En esta sección, el ponente explica por qué la redundancia es importante en la conducción autónoma, especialmente cuando se trata de limitaciones de sensores como cámaras, que pueden quedar obstruidos por el agua o la luz solar directa. Un buen sistema de conducción autónoma no solo proporciona seguridad sino que también conduce con suavidad para evitar que los pasajeros se agoten. Los requisitos del nivel tres implican tener la capacidad de ver la parte delantera del vehículo para acelerar, frenar y maniobrar con suavidad. El orador aborda brevemente requisitos como el campo de visión y la proyección de la trayectoria de un objeto, y señala que una resolución más alta permite que el sensor identifique mejor los objetos. Por último, el altavoz proporciona un caso de uso para el frenado de emergencia a 80 millas por hora.
  
  
• 00:15:00 En este apartado, el ponente comenta la importancia de la resolución vertical de LiDAR y cómo afecta a la toma de decisiones en vehículos autónomos. Explican que tener dos píxeles para identificar un objeto alto es necesario para la claridad, y que incluso si LiDAR tuviera el doble de alcance, no ayudaría necesariamente con la toma de decisiones si solo hay un píxel. Discuten además el impacto de velocidades de cuadro más altas y doble resolución vertical, que podrían identificar obstáculos a una distancia mayor, y enfatizan que estos parámetros son críticos para la seguridad de los vehículos autónomos. El orador también analiza brevemente los esfuerzos de la compañía para desarrollar un sistema LiDAR de 360 grados rentable y de alta resolución. Finalmente, la sección concluye con una discusión de un algoritmo simple que puede detectar puntos relevantes para colisiones en una nube de puntos.
  
  
• 00:20:00 En esta sección, el orador explica un algoritmo simple para detectar objetos relevantes para colisiones utilizando la tecnología LiDAR. Al medir la diferencia de altura entre pares de puntos en una nube de puntos, los objetos que están a 40 centímetros o más sobre el suelo pueden detectarse fácilmente. El algoritmo puede detectar objetos que pueden no estar representados en un conjunto de entrenamiento, como camiones de bomberos u objetos en diferentes regiones del mundo. El orador muestra ejemplos de cómo este algoritmo puede detectar camiones volcados y objetos pequeños como llantas a distancia. Sin embargo, si bien la detección de objetos estáticos es importante, también lo es comprender la dinámica de los objetos en movimiento para predecir cómo se moverán en el futuro.
  
  
• 00:25:00 En esta sección, la atención se centra en los desafíos de detectar y clasificar objetos como peatones utilizando redes de aprendizaje profundo, particularmente en escenarios donde la apariencia de objetos como piernas y torso no es obvia, o los objetos están demasiado distantes. Lidar es una tecnología útil en estos escenarios, ya que aún puede clasificar y agrupar objetos, ya que no es crítico ver su apariencia. Este algoritmo de agrupamiento se puede aplicar en entornos de escenarios reales como la conducción, pero su inestabilidad y ambigüedad señaladas por el ejemplo de un objeto que se puede clasificar como dos objetos diferentes, dificultan la construcción de un sistema que sea robusto y útil para el pila de vehículos autónomos de nivel superior. Por lo tanto, el análisis semántico sigue siendo crítico para el sistema completo. Comprender la naturaleza no estructurada y la escasez de datos de nubes de puntos también es esencial al procesar datos.
  
  
• 00:30:00 En esta sección, el orador analiza diferentes representaciones de datos LiDAR que se pueden usar para la conducción autónoma, incluidas representaciones estructuradas que se asemejan a imágenes y voxelización donde los datos se dividen en volúmenes más pequeños. El desafío con las representaciones estructuradas es que puede ser difícil explotar las características de medición 3D de las nubes de puntos, mientras que con la voxelización es posible comprender la información de oclusión, que se puede agregar como una capa adicional en la red para un procesamiento eficiente. El orador enfatiza la importancia de la eficiencia computacional en la conducción autónoma y el procesamiento en el borde, donde la eficiencia puede definir la solución.
  
  
• 00:35:00 En esta sección, el ponente analiza los elementos clave del sistema Lidar para la conducción autónoma, tomando como ejemplo la detección de una motocicleta en el carril del vehículo. Para detectar y rastrear con precisión la motocicleta, es fundamental tener un cuadro delimitador ajustado a su alrededor que sea semánticamente preciso y computacionalmente eficiente. La solución es una fusión entre los enfoques de aprendizaje profundo y agrupamiento, combinando lo mejor de ambos métodos para crear una lista de objetos sólida e interpretable para la salida de la pila, lo cual es importante para los sistemas críticos para la seguridad. La salida fusionada proporciona cuadros de límite precisos con clases, lo que da como resultado una integración más fluida de Lidar y el software de percepción en la unidad de procesamiento de un automóvil.
  
  
• 00:40:00 En esta sección, el orador analiza el uso de LiDAR para la conducción autónoma y cómo puede ayudar a mejorar la seguridad al proporcionar información de sensores redundantes. Explican que las condiciones climáticas, como la lluvia, tienen poco impacto en el rendimiento de LiDAR, mientras que la niebla puede causar cierta atenuación de la luz. El orador también aborda preguntas sobre falsos positivos y qué hace que su LiDAR se ajuste mejor a esta aplicación, destacando las compensaciones entre diferentes parámetros y la alta SNR general de su sistema. Continúan discutiendo los desafíos de entrenar clasificadores para la conducción autónoma y la importancia del aprendizaje activo para garantizar una anotación efectiva de datos.
  
  
• 00:45:00 En esta sección, el orador analiza los diferentes campos en el espacio LiDAR, como la longitud de onda, la modulación láser y el mecanismo de escaneo. Luego profundizan en la cuestión de FMCW versus el tiempo de vuelo, afirmando que FMCW es beneficioso para medir la velocidad directamente, pero está limitado por la necesidad de usar 1550 y el fuerte acoplamiento entre la velocidad de cuadro de rango y el campo de visión. Por otro lado, el tiempo de vuelo puede calcular bien la velocidad con alta resolución y alta velocidad de fotogramas, pero el equilibrio entre parámetros como la resolución, el rango, el campo de visión y la velocidad de fotogramas se antepone al requisito de velocidad. Los oradores también mencionan que venden sus sensores a fabricantes de automóviles y más allá, incluidas instituciones académicas, empresas de construcción, ciudades inteligentes y vigilancia.

[MetaQuotes]

MIT 6.S191: Reconocimiento automático de voz

Clase 8. MIT 6.S191: Reconocimiento automático de voz

En este video, el cofundador de Rev explica la misión de la empresa de conectar a las personas que transcriben, subtitulan o subtitulan medios con clientes que necesitan servicios de transcripción. Rev utiliza ASR para potenciar su mercado, transcribiendo más de 15 000 horas de datos multimedia por semana y ofrece su API para que los clientes creen sus propias aplicaciones de voz. El nuevo modelo ASR de aprendizaje profundo de extremo a extremo desarrollado por Rev logra una mejora significativa en el rendimiento en comparación con su predecesor, pero aún hay margen de mejora ya que ASR no es un problema completamente resuelto incluso en inglés. El orador analiza diferentes técnicas para manejar el sesgo en conjuntos de datos, preparar datos de audio para el entrenamiento y enfoques para abordar problemas con el modelo de extremo a extremo.

• 00:00:00 En esta sección, Miguel, el cofundador de Rev, describe la historia y la misión de la empresa, que es crear puestos de trabajo desde casa para personas impulsadas por IA. Rev es un mercado de doble cara que conecta a las personas que transcriben, subtitulan o subtitulan medios con clientes que necesitan servicios de transcripción. Con más de 170 000 clientes y más de 60 000 trabajadores, Rev transcribe más de 15 000 horas de datos multimedia por semana, lo que lo convierte en una fuente importante de datos de capacitación para modelos de reconocimiento automático de voz (ASR). Rev utiliza ASR para potenciar su mercado y ofrece su API para que los clientes creen sus propias aplicaciones de voz. Jenny, quien lidera el desarrollo del proyecto ASR de aprendizaje profundo en Rev, explica el rendimiento del modelo ASR de aprendizaje profundo de extremo a extremo y las opciones de modelado que se incluyeron en su desarrollo.
  
  
• 00:05:00 En esta sección, el orador habla sobre el desarrollo de un sistema de reconocimiento de voz automático (ASR) de extremo a extremo y el lanzamiento de la versión dos por parte de Rev. Compararon su nuevo modelo con la versión uno de su híbrido arquitectura, así como a varios competidores. Los modelos se evaluaron con un conjunto de datos de referencia de llamadas de ganancias que fueron transcritas por transcriptores humanos, con la tasa de errores de palabras como la métrica principal. Los resultados muestran que el nuevo modelo logra mejoras significativas en el rendimiento, especialmente en el reconocimiento de nombres de organizaciones y personas. Sin embargo, todavía hay margen de mejora, ya que ASR no es un problema completamente resuelto, incluso en inglés, y la tasa de error sigue siendo bastante alta en general. El orador también presenta los resultados de un conjunto de datos de código abierto que examina el sesgo de los sistemas ASR en diferentes nacionalidades.
  
  
• 00:10:00 En esta sección, el orador enfatiza la importancia de los datos para desarrollar y mejorar los modelos de reconocimiento automático de voz (ASR). Si bien la empresa tiene acceso a una gran cantidad de datos de varios países de habla inglesa, el equipo también enfrenta el desafío de lidiar con los sesgos en los modelos, como un buen desempeño con los acentos escoceses pero deficiente con los acentos irlandeses. El orador continúa explicando el proceso de desarrollo de un modelo ASR de extremo a extremo para el reconocimiento de voz, destacando la dificultad de tener que aprender qué información en la señal de audio es relevante para la tarea. El objetivo de la compañía es producir un modelo que pueda manejar cualquier audio enviado a rev.com, lo que lo convierte en un problema más grande y más desafiante de lo que normalmente se ve en la academia. También se analiza la decisión del equipo de usar solo transcripciones literales para la capacitación, ya que es crucial para la precisión del modelo.
  
  
• 00:15:00 En esta sección, el orador analiza cómo preparar datos de audio para entrenar un modelo de reconocimiento de voz. Los archivos largos de audio y transcripciones se dividen en oraciones individuales o se segmentan arbitrariamente con detección de actividad de voz. Luego, el audio se procesa en un espectrograma con vectores, convirtiéndolo en una señal unidimensional que se puede alimentar a una red neuronal para aprender características de ella. El modelo también necesita decidir cómo dividir los datos de texto, y el campo se ha decidido por el uso de unidades de subpalabras o unidades de palabras. Finalmente, el disertante menciona brevemente el uso de la escala de mel, una técnica utilizada para modelar mejor la percepción auditiva humana de diferentes bandas de frecuencia.
  
  
• 00:20:00 En esta sección, el orador analiza el uso de la escala de Mel en el reconocimiento de voz, que imita la forma en que el oído humano procesa el audio. Si bien existen modelos de redes neuronales que pueden aprender estos filtros, es más sencillo para su equipo manejarlos a través del procesamiento de señales en lugar de incluirlos en la red. El orador también explica con atención el modelo de codificador-decodificador, que produce una unidad de salida a la vez y está condicionado a las incrustaciones del audio de entrada. El modelo realiza un muestreo descendente al principio y utiliza redes neuronales recurrentes o transformadores como capa real.
  
  
• 00:25:00 En esta sección, el orador analiza el uso de "conformador" en los modelos de reconocimiento automático de voz (ASR), que es un enfoque más eficiente que el modelo de transformador tradicional. Si bien los modelos ASR basados en la atención han demostrado una precisión impresionante, no son prácticos para aplicaciones comerciales debido a las ventajas y desventajas de la velocidad y el costo de cómputo. En cambio, el orador recomienda usar el algoritmo llamado clasificación temporal conexionista (CTC) para ASR, que es mejor cuando la alineación entre la entrada y la salida es monótona y la secuencia de salida es de la misma longitud o más corta que la secuencia de entrada. CTC es una función de pérdida y un algoritmo de decodificación que se asienta sobre un modelo de aprendizaje profundo y requiere una capa de salida softmax. Las salidas se generan todas a la vez, lo que lo hace más rápido que el modelo tradicional de codificador-decodificador con atención.
  
  
• 00:30:00 En esta sección del video, el orador analiza el concepto de clasificación temporal conexionista (CTC), que es un método utilizado para el reconocimiento de voz. El método CTC implica sumar las probabilidades de registro en las salidas de softmax para cada paso de tiempo y luego calcular la probabilidad de una secuencia de etiquetas más corta a partir de las más largas. El método CTC viene con un algoritmo de programación dinámica eficiente que se utiliza para calcular la probabilidad de una secuencia. Si bien CTC puede no ser tan potente como otros modelos, puede ser más rápido y es mejor en ciertas condiciones. Para mejorar la precisión, se puede agregar un modelo de lenguaje entrenado externamente, pero ya no es un modelo de extremo a extremo.
  
  
• 00:35:00 En esta sección, el orador analiza el equilibrio entre la precisión y la velocidad o el costo de cómputo en la obtención de probabilidades a partir de modelos de lenguaje. Explican la posibilidad de agregar un modelo de lenguaje como parte de un modelo de red neuronal profunda, llamado transductor, que puede encajar en el presupuesto de cómputo para un sistema de producción, suponiendo que la predicción y la red conjunta sean relativamente pequeñas y no demasiado costosas. El ponente también habla sobre el modelo de atención y CTC conjunto utilizado por REV, que ha demostrado ser una de las arquitecturas ASR con mejor rendimiento. También tocan el tema del sesgo en los conjuntos de datos y mencionan estrategias que están explorando, como hacer más uso de transcriptores humanos para ayudar a equilibrar los datos de entrenamiento.
  
  
• 00:40:00 En esta sección, los oradores analizan posibles estrategias para abordar los problemas con el modelo de extremo a extremo, incluidos los pasos de posprocesamiento y la extracción de datos para el reequilibrio. También mencionan técnicas como el aprendizaje del currículo que pueden explorar en su investigación. Además, aclaran que actualmente están usando CTC con un modelo de lenguaje de n-gramas como primer paso y un modelo conformador como codificador tanto para CTC como para las incrustaciones alimentadas al decodificador de atención. Proporcionan sus direcciones de correo electrónico para cualquier persona que quiera comunicarse con ellos con preguntas o para hablar sobre ASR en general.

[MetaQuotes]

MIT 6.S191: IA para la ciencia

Clase 9. MIT 6.S191: IA para la ciencia

El video MIT 6.S191: AI for Science explora los desafíos de usar métodos informáticos tradicionales para resolver problemas científicos complejos y la necesidad de aprendizaje automático para acelerar las simulaciones. El orador discute la necesidad de desarrollar nuevos métodos de ML que puedan capturar fenómenos a escala fina sin sobreajustarse a puntos discretos, y describe varios enfoques para resolver ecuaciones diferenciales parciales (PDE) utilizando operadores neuronales y transformadas de Fourier. También abordan la importancia de mantener la información de fase y amplitud en el dominio de la frecuencia y agregar leyes físicas como funciones de pérdida al resolver problemas inversos con PDE. Además, se aborda la posibilidad de utilizar la IA para aprender ecuaciones simbólicas y descubrir nuevas leyes o leyes físicas, la importancia de la cuantificación de la incertidumbre, la escalabilidad y las consideraciones del lado de la ingeniería para ampliar las aplicaciones de la IA. El video concluye alentando a las personas a buscar proyectos geniales con IA.

• 00:00:00 El orador analiza el papel del diseño principal de los algoritmos de IA en dominios desafiantes, con un enfoque en la IA para la ciencia. Existe la necesidad de construir un lenguaje y una base comunes entre los expertos en dominios y los expertos en IA, y la necesidad de desarrollar nuevos algoritmos para la IA para la ciencia. El principal desafío es la necesidad de extrapolación o generalización de tiro cero, lo que significa hacer predicciones sobre muestras que se ven muy diferentes de los datos de entrenamiento. Esto requiere tener en cuenta los antecedentes de dominio, las restricciones y las leyes físicas, y no puede basarse únicamente en datos. La necesidad de computación está creciendo exponencialmente en la computación científica, y la IA puede ser útil para ayudar a abordar el cambio climático y modelar el mundo real a gran escala.
  
  
• 00:05:00 En esta sección del video, el orador analiza los desafíos de usar métodos informáticos tradicionales para resolver problemas científicos complejos, como la simulación de moléculas o la predicción del cambio climático. Incluso con las supercomputadoras, llevaría mucho más tiempo que la edad del universo calcular la ecuación de Schrödinger para una molécula que contiene 100 átomos. Por lo tanto, existe la necesidad de que el aprendizaje automático acelere estas simulaciones y las haga basadas en datos. Sin embargo, los métodos actuales de aprendizaje profundo tienen limitaciones, como el exceso de confianza al hacer predicciones incorrectas, lo que puede conducir a decisiones incorrectas y potencialmente costosas. El orador enfatiza la necesidad de desarrollar nuevos métodos de aprendizaje automático que puedan capturar fenómenos a escala fina sin sobreajustarse a puntos discretos.
  
  
• 00:10:00 Esta parte analiza los desafíos de desarrollar modelos de IA que puedan capturar fenómenos continuos y modelos moleculares en una resolución invariable y de manera simétrica. Señalan que los grandes modelos de IA pueden ayudar a capturar fenómenos complejos, como el clima de la Tierra, y la mayor disponibilidad de datos y las supercomputadoras más grandes contribuyen a su efectividad. El orador también analiza los desafíos del diseño algorítmico al resolver ecuaciones diferenciales parciales y que las redes neuronales estándar no se pueden usar de manera directa, especialmente cuando se resuelve una familia de ecuaciones diferenciales parciales, como el flujo de fluidos donde el modelo necesita aprender qué sucede bajo diferentes condiciones iniciales.
  
  
• 00:15:00 En esta sección, el orador analiza el problema de resolver ecuaciones diferenciales parciales (PDEs) y cómo difiere del aprendizaje supervisado estándar. El desafío es que las soluciones de PDE no están fijadas en una resolución, por lo que se necesita un marco que pueda resolver cualquier resolución. El orador explica cómo resolver PDE requiere encontrar la solución con condiciones iniciales y de contorno dadas e ilustra cómo se puede hacer esto inspirándose en la resolución de PDE lineales, específicamente el ejemplo de la fuente de calor. El principio del operador lineal se utiliza componiéndolo con no linealidad para configurar una red neuronal para el aprendizaje automático. Sin embargo, la entrada es de dimensión infinita y continua, por lo que se necesita una solución práctica, y el disertante propone diseñar los operadores lineales inspirados en la resolución de ecuaciones diferenciales parciales lineales.
  
  
• 00:20:00 En esta sección, el disertante analiza el concepto de usar un operador neuronal para resolver ecuaciones diferenciales parciales (PDEs), ya sean lineales o no lineales. La idea consiste en aprender a realizar la integración en varias capas para crear un operador neuronal que pueda aprender en infinitas dimensiones. La arquitectura práctica requerida para lograr esto se desarrolla a través de una convolución global a través de transformadas de Fourier, lo que permite capturar correlaciones globales. La arquitectura opera transformando la señal al espacio de Fourier y aprendiendo pesos sobre cómo cambiar los pesos de frecuencia. Esto ofrece una formulación muy sencilla que es estable y aporta expresividad. Además, el orador señala que el enfoque se basa en sesgos inductivos específicos del dominio, lo que permite un cálculo eficiente en campos como los flujos de fluidos.
  
  
• 00:25:00 El orador explica que el uso de transformadas de Fourier permite el procesamiento en cualquier resolución y mejora la generalización en diferentes resoluciones en comparación con los filtros convolucionales que solo aprenden en una resolución. También discuten cómo los principios de este enfoque, que implican resolver la convolución global a través de transformaciones no lineales juntas, dan como resultado un modelo expresivo. Responden algunas preguntas de la audiencia sobre la generalización de la implementación y los beneficios de entrenar un modelo que es invariable en resolución. El orador muestra los resultados de la implementación de este enfoque en los datos de Navier-Stokes, lo que demuestra que es capaz de capturar bien las altas frecuencias y puede mejorar los resultados incluso cuando se extrapola a resoluciones más altas que los datos de entrenamiento.
  
  
• 00:30:00 Esta parte analiza la importancia de mantener la información de fase y amplitud en el dominio de la frecuencia en lugar de solo la amplitud. Si usa números complejos en redes neuronales, es importante verificar posibles errores en las actualizaciones de gradiente para algoritmos como Adam. El orador sugiere agregar leyes físicas como funciones de pérdida a soluciones como ecuaciones diferenciales parciales (PDEs), ya que tiene sentido verificar si la solución está cerca de satisfacer las ecuaciones. Al entrenar en muchas instancias de problemas diferentes y confiar en pequeñas cantidades de datos de entrenamiento, el equilibrio entre estar informado por los datos o la física puede crear una buena compensación y producir capacidades de generalización. Adicionalmente, el ponente aborda la utilidad de resolver problemas inversos con PDEs.
  
  
• 00:35:00 Esta parte discute la idea de resolver problemas inversos a través del aprendizaje automático. Esto implica aprender un solucionador de ecuaciones diferenciales parciales de manera directa y luego invertirlo para encontrar el mejor ajuste, en lugar de depender de métodos costosos como MCMC. El ponente también toca el tema del caos y su conexión con los transformadores, destacando la sustitución del mecanismo de atención por modelos de operadores neuronales de Fourier para una mayor eficiencia. Se discuten varias aplicaciones de estos diferentes marcos, incluida la predicción del tiempo, el clima y la predicción del estrés en los materiales. También se plantea la cuestión de si los operadores neuronales podrían usarse para varios dominios de aplicación similares a las redes pre-entrenadas. Si bien el orador reconoce la importancia de las leyes físicas universales, sugiere que entrenar a un modelo para comprender la física, la química y la biología sigue siendo un desafío difícil.
  
  
• 00:40:00 En esta sección del video, el orador analiza la posibilidad de usar IA para aprender ecuaciones simbólicas y descubrir nuevas leyes o física, aunque puede ser un desafío hacerlo. También abordan la importancia de la cuantificación de la incertidumbre para los modelos de aprendizaje profundo, la escalabilidad y las consideraciones del lado de la ingeniería para ampliar las aplicaciones de IA. Además, mencionan el potencial de otros subprocesos, como el uso de la autoatención en modelos de transformadores y modelos generativos para la eliminación de ruido. En general, la charla tiene como objetivo proporcionar una buena base sobre el aprendizaje profundo y alentar a las personas a buscar proyectos geniales con IA.

[MetaQuotes]

MIT 6.S191: Incertidumbre en el aprendizaje profundo

Clase 10. MIT 6.S191: Incertidumbre en el aprendizaje profundo

El profesor Jasper Snoek (Investigador científico, Google Brain) analiza la importancia de la incertidumbre y la robustez fuera de distribución en los modelos de aprendizaje automático, en particular en campos como la atención médica, los automóviles autónomos y los sistemas de diálogo conversacional. Al expresar la incertidumbre en las predicciones, los modelos pueden brindar a los médicos o humanos más información para tomar decisiones o solicitar aclaraciones, lo que en última instancia mejora la utilidad general del sistema. El orador también introduce la idea de la incertidumbre del modelo y las fuentes de incertidumbre, enfatizando que los modelos que reconocen sus propias limitaciones pueden ser aún más útiles.

• 00:00:00 En esta sección del video, el orador analiza la importancia de la estimación práctica de la incertidumbre y la solidez fuera de distribución en el aprendizaje profundo. La estimación de la incertidumbre implica devolver una distribución sobre las predicciones en lugar de una sola predicción para proporcionar una etiqueta con su confianza o una media con su varianza. La robustez fuera de la distribución es necesaria porque, aunque los algoritmos de aprendizaje automático generalmente se entrenan en conjuntos de datos que son independientes y están distribuidos de manera idéntica desde el mismo conjunto de datos, los modelos implementados a menudo encuentran datos nuevos, que tienen una distribución diferente. Esto puede incluir diferentes entradas o diferentes etiquetas. El orador presenta experimentos que muestran que los modelos de aprendizaje profundo luchan con los cambios de conjuntos de datos durante la implementación y cometen errores de exceso de confianza cuando se enfrentan a estos cambios de distribución.
  
  
• 00:05:00 En esta sección, el orador analiza la importancia de la incertidumbre y la solidez fuera de la distribución en los modelos de aprendizaje automático, particularmente en campos como la atención médica, los automóviles autónomos y los sistemas de diálogo conversacional. Al expresar la incertidumbre en las predicciones, los modelos pueden brindar a los médicos o humanos más información para tomar decisiones o solicitar aclaraciones, lo que en última instancia mejora la utilidad general del sistema. El orador también introduce la idea de la incertidumbre del modelo y las fuentes de incertidumbre, enfatizando que los modelos que reconocen sus propias limitaciones pueden ser aún más útiles.
  
  
• 00:10:00 El disertante analiza las dos principales fuentes de incertidumbre en el aprendizaje profundo: epistémica y aleatoria. La incertidumbre epistémica es la incertidumbre de cuál podría ser el verdadero modelo, que se puede reducir con más recopilación de datos. La incertidumbre aleatoria se refiere a la incertidumbre que es inherente a los datos y, a menudo, se conoce como incertidumbre irreducible. Los expertos a menudo confunden los dos tipos de incertidumbre. El video también señala que una forma popular de medir la calidad de la incertidumbre en los modelos de aprendizaje profundo es a través de la noción de error de calibración. El video proporciona un ejemplo de error de calibración para la predicción del clima y destaca una desventaja de la calibración, que es que no tiene una noción de precisión incorporada.
  
  
• 00:15:00 En esta sección, Jasper Snoek analiza la importancia de obtener una buena noción de la incertidumbre de los modelos y cómo extraerla. Explican que cada función de pérdida corresponde a un máximo, por lo que minimizar una función de pérdida corresponde a maximizar una probabilidad o maximizar una probabilidad logarítmica de los datos dados los parámetros del modelo. El orador destaca la importancia de una regla de puntuación adecuada que dé una idea de qué tan buena fue la incertidumbre y analiza el concepto de entropía cruzada softmax con la regularización L2. También explican que se puede obtener una distribución para p theta dada xy, obteniendo múltiples buenos modelos o calculando la distribución posterior, que es una distribución condicional de los parámetros dados por las observaciones.
  
  
• 00:20:00 Esta parte analiza el aprendizaje profundo bayesiano, que implica calcular las probabilidades en el momento de la predicción dados los parámetros. Se utiliza un posterior para ponderar cada configuración de parámetros en una integral que se agrega para obtener predicciones. En la práctica, se toman varias muestras y se agregan las predicciones sobre un conjunto de muestras discretas para obtener una distribución de modelos en lugar de uno solo. Esto proporciona una incertidumbre interesante a medida que se aleja de los datos porque se forman diferentes hipótesis sobre cómo será el comportamiento de los datos a medida que se aleja. Hay muchas formas de aproximar la integral sobre todos los parámetros porque generalmente es demasiado costoso hacerlo en forma cerrada o exactamente para redes profundas. También se analiza el conjunto, que toma un grupo de modelos entrenados de forma independiente y forma una distribución mixta, ya que proporciona mejores predicciones e incertidumbre que uno solo.
  
  
• 00:25:00 En esta parte , Jasper Snoek analiza diferentes estrategias para mejorar la incertidumbre de los modelos de aprendizaje profundo. Mencionan debates entre expertos sobre si los conjuntos son bayesianos o no, y el orador cae en el campo "no bayesiano". También explican algunas dificultades con los modelos bayesianos en redes neuronales profundas, como la necesidad de integrales de alta dimensión y la necesidad de especificar una clase de modelos bien definida que puede ser difícil de determinar para redes profundas. A pesar de estas dificultades, discuten algunos métodos populares y efectivos para mejorar la incertidumbre, incluida la recalibración a través de la escala de temperatura, la deserción de Monte Carlo y conjuntos profundos. También mencionan los conjuntos de hiperparámetros como una estrategia que funciona incluso mejor que los conjuntos profundos.
  
  
• 00:30:00 Esta parte analiza diferentes métodos para optimizar los modelos de aprendizaje profundo y hacerlos más eficientes, particularmente cuando se trata de modelos grandes y de baja latencia. El primer enfoque discutido es el ensamblaje, que implica combinar múltiples modelos independientes para generar un conjunto más diverso de predicciones. Otro enfoque es usar SWAG, que optimiza a través de SGD y ajusta una Gaussiana alrededor de las iteraciones de peso promedio. Luego, la discusión cambia a la escala, que es un tema particularmente importante dado que muchos modelos de aprendizaje profundo son grandes y difíciles de adaptar al hardware. El orador analiza un método llamado "conjunto por lotes" que utiliza factores de rango uno para modular un solo modelo, produciendo casi el mismo rendimiento que un conjunto completo con solo el cinco por ciento del número de parámetros de un solo modelo.
  
  
• 00:35:00 En esta sección, Jasper Snoek analiza la idea de convertir el método de conjunto por lotes en un método bayesiano aproximado. Esto se puede lograr mediante el uso de una distribución sobre factores y el muestreo de estos factores durante la predicción, lo que podría corresponder a una distribución binaria u otras distribuciones interesantes que modulan los pesos del modelo. Otros enfoques de los métodos bayesianos incluyen ser bayesianos sobre un subespacio y obligar a las redes neuronales a predecir múltiples entradas y salidas, lo que conduce a predicciones diversas e interesantemente precisas. El uso de modelos preentrenados a gran escala también se analiza como un cambio de paradigma para el aprendizaje automático, donde se puede acceder a otra distribución gigante para mejorar la precisión y la incertidumbre.
  
  
• 00:40:00 El video analiza la importancia de la incertidumbre y la solidez en el aprendizaje profundo y cómo el entrenamiento previo puede ayudar a obtener la distribución completa. El autor menciona que a medida que aumenta el poder de cómputo, hay nuevas formas de mirar la frontera, lo que promete obtener una mejor incertidumbre de nuestros modelos. También hay discusión sobre el uso de la incertidumbre para cerrar la brecha de la realidad en las aplicaciones de simulación a realidad, pero se señala que la incertidumbre y la robustez son increíblemente importantes en estas aplicaciones, aunque los detalles no están claros.
  
  
• 00:45:00 En esta sección, Jasper Snoek analiza la aplicación potencial de las medidas de incertidumbre en los modelos de IA posteriores, en particular, el uso de la incertidumbre para mejorar los modelos de predicción. Exploran los desafíos de transmitir la incertidumbre a usuarios no expertos y la importancia de usar la incertidumbre para mejorar la pérdida de decisiones posteriores, particularmente en campos como la medicina y los automóviles autónomos. También se refieren a la falta de implementaciones accesibles y fáciles de usar de redes neuronales bayesianas, que su grupo está trabajando para abordar a través de su biblioteca de código abierto, líneas de base de incertidumbre.

[MetaQuotes]

Inteligencia artificial: el último invento de la humanidad

Inteligencia artificial: el último invento de la humanidad

El video "Inteligencia artificial: el último invento de la humanidad" explora los avances y los riesgos potenciales asociados con el desarrollo de la inteligencia artificial (IA). El video destaca AlphaGo de Google DeepMind, que superó siglos de conocimiento de estrategia humana en solo 40 días. Se sumerge en las diferencias entre la IA fuerte y la débil y analiza cómo la IA avanzada puede conducir a una singularidad tecnológica, en la que se mejora continuamente y se vuelve miles de millones de veces más inteligente que los humanos. El orador enfatiza la importancia de dar a la IA valores y principios similares a los humanos y advierte contra la creación de un sistema incontrolable. El video concluye enfatizando la necesidad de considerar cuidadosamente las consecuencias de desarrollar una IA súper inteligente antes de hacerlo.

• 00:00:00 Esta parte explica la complejidad del juego de mesa Go, que no se puede resolver por fuerza bruta ni predecir, y tiene entre 10 y 170 movimientos posibles. AlphaGo de Google DeepMind se entrenó con datos de juegos Go humanos reales donde aprendió las técnicas utilizadas y creó otras nuevas que nadie había visto nunca, lo cual fue impresionante por sí solo. Un año después de la victoria de AlphaGo, AlphaGo Zero venció a AlphaGo 100 a 0 utilizando las reglas básicas, ya que aprendió a jugar sin interacción humana, lo que superó más de 2500 años de estrategia y conocimiento en solo 40 días. El video destaca la cantidad significativa de conocimiento no humano a medida que la tecnología continúa desarrollándose; habrá un punto en el que los humanos representen la minoría de la inteligencia, y no habrá un interruptor para apagar la IA.
  
  
• 00:05:00 En esta sección, el video analiza las redes neuronales y cómo las máquinas aprenden de los datos y adaptan su propia visión de ellos. También explora la diferencia entre las capacidades del cerebro humano y las computadoras. Por ejemplo, las computadoras pueden realizar 20.000 años de investigación a nivel humano en solo una semana. Además, se explora la naturaleza exponencial del aprendizaje automático, lo que significa que comienza lentamente pero llega a un punto de inflexión en el que las cosas comienzan a acelerarse drásticamente. Se señala la diferencia entre IA débil y fuerte; mientras que el primero requiere menos energía, la diferencia entre el segundo y la IA superinteligente es millones de veces mayor. Por lo tanto, se subraya la importancia de una IA fuerte, que tiene el potencial de ayudarnos a alcanzar un nivel de superinteligencia en solo unos meses.
  
  
• 00:10:00 El orador analiza cómo la IA avanzada puede conducir a una singularidad tecnológica en la que se mejora continuamente y se vuelve miles de millones de veces más inteligente que los humanos. El orador enfatiza la necesidad de tener cuidado con la forma en que hacemos la IA, ya que puede volverse incontrolable si no le damos valores y principios similares a los humanos. El orador explica cómo la IA con solo inteligencia pero no sabiduría puede tomar decisiones que no son necesariamente éticas o buenas para los humanos. El orador también presenta Neuralink, que tiene como objetivo crear un cordón neuronal que nos dará acceso a Internet de alta velocidad y nos permitirá acceder a toda la información disponible para el mundo al instante.
  
  
• 00:15:00 En esta sección, exploramos las posibles incertidumbres y riesgos que conlleva la creación de un sistema artificialmente inteligente. Hay muchas preguntas a considerar, como cómo se puede programar la conciencia y cómo se pueden replicar emociones como el amor y el odio. Además, la posibilidad de que una IA superinteligente adopte puntos de vista radicales y se comprometa con su agenda en lugar de con lo que ha sido programada para hacer. Si bien el progreso en la informática se está desacelerando, una IA súper inteligente aún tiene el potencial de ayudar a la humanidad a alcanzar su mejor momento, pero también puede ser un arma en las manos equivocadas. Es un tema que debe tomarse en serio, y las consecuencias de la seguridad de dicho sistema deben considerarse antes de crearlo.

[MetaQuotes]

La revolución de la inteligencia artificial de Canadá - Dr. Joelle Pineau

La revolución de la inteligencia artificial de Canadá - Dr. Joelle Pineau

La Dra. Joelle Pineau analiza los avances y desafíos en el campo de la inteligencia artificial (IA), destacando el papel del aprendizaje automático y la visión por computadora en el progreso de la investigación de la IA. Presenta su propio trabajo sobre la optimización de los tratamientos para la epilepsia mediante la terapia de estimulación neuronal y el aprendizaje por refuerzo. El Dr. Pineau también analiza los impactos socioeconómicos de la IA y señala la necesidad de colaboración entre los investigadores de IA y los investigadores médicos de dominios específicos para optimizar el tratamiento. Ella enfatiza la importancia de preparar la educación de la próxima generación en matemáticas, ciencias y habilidades informáticas para satisfacer la demanda de incorporar más perspectivas técnicas en el plan de estudios. Sin embargo, también reconoce desafíos en el campo, como problemas de sesgo en los datos y preocupaciones de privacidad y seguridad con respecto a los datos. El Dr. Pineau finalmente ve que la IA tiene el potencial de revolucionar varios campos, como la atención médica y la robótica, y espera con ansias el futuro de los sistemas autónomos que pueden operar de manera segura y efectiva en entornos centrados en el ser humano.

También destaca la necesidad de traer diversas perspectivas al campo de la inteligencia artificial (IA) para expandir la tecnología y menciona iniciativas como AI for Good en McGill que capacita a mujeres jóvenes en IA. Sin embargo, señala la necesidad de medir su impacto y capacitar a más personas en IA rápidamente para superar el cuello de botella en el desarrollo de IA debido a la falta de talento. Pineau enfatiza la importancia de tener una fuerza laboral diversa y bien capacitada para avanzar en el campo de la IA. El video termina con Pineau anunciando un próximo evento con Michele Lamont en el hotel Omni King Edward el 14 de noviembre.

• 00:00:00 En esta sección del video, el Dr. Alan Bernstein presenta el Instituto Canadiense de Investigación Avanzada (CFR), una organización de investigación global que reúne a los mejores investigadores para abordar cuestiones importantes que enfrenta la humanidad. Uno de los programas exitosos de CFR es la inteligencia artificial (IA), cuyo pionero fue un becario de CFR en 2002. La Dra. Joelle Pineau, la oradora de la velada, profundiza en las implicaciones de la IA en la sociedad y las preocupaciones éticas que rodean su desarrollo.
  
  
• 00:05:00 En esta sección, el orador analiza el emocionante progreso que se ha logrado en el campo de la inteligencia artificial, incluido el desarrollo de automóviles autónomos y agentes conversacionales. Si bien la IA aún no está completamente integrada en nuestra vida diaria, la tecnología ya ha comenzado a afectar la forma en que interactuamos con el mundo digital. El orador también destaca el papel del aprendizaje automático y la visión por computadora en el avance de la investigación de la IA y el potencial de la IA para revolucionar varios campos, como la atención médica y la robótica.
  
  
• 00:10:00 En esta sección, aprendemos sobre el impacto de las habilidades cognitivas de la inteligencia artificial y cómo está revolucionando la economía y la sociedad. El desarrollo de la IA es un proceso continuo, pero hemos creado máquinas con módulos para planificar, comprender el lenguaje natural y procesar imágenes. Los desafíos están por venir en la construcción de una mejor IA, y una que integre a la perfección estas diferentes habilidades. Ha habido un cambio en el enfoque de la IA en los últimos años, con máquinas entrenadas a través de ejemplos en lugar de una filosofía programática. Los avances en la visión artificial han mejorado nuestra capacidad para comprender imágenes, lo que ha llevado a avances tecnológicos como los automóviles autónomos.
  
  
• 00:15:00 En esta sección, la Dra. Joelle Pineau explica que el avance en la visión por computadora se logró mediante la disponibilidad de datos, específicamente el conjunto de datos de ImageNet con un millón de imágenes anotadas que entrenaron a las máquinas para reconocer miles de objetos diferentes con alta precisión. Este aumento de datos, combinado con plataformas informáticas, como las plataformas GPU, permitió que la tecnología de aprendizaje profundo impulsara el progreso en varios tipos de datos, incluido el reconocimiento de voz. Esta analogía tecnológica se hace con las neuronas biológicas en el cerebro, donde las neuronas reciben información, la procesan, toman decisiones y envían un mensaje, que es el mismo proceso que en las neuronas artificiales. Las conexiones entre estas neuronas se ajustan con algoritmos de aprendizaje automático para fortalecer ciertas predicciones seleccionando el conjunto correcto de pesos.
  
  
• 00:20:00 En esta sección, la Dra. Joelle Pineau analiza cómo las redes neuronales artificiales procesan la información, con cada capa de la red computando una versión más abstracta de la información hasta que se genera una predicción al final. También se explora la intersección de la visión y el lenguaje, con subtítulos de imágenes como ejemplo. Si bien las máquinas no son perfectas y pueden cometer errores, el aprendizaje por refuerzo es una técnica que puede mejorar su capacidad. Un ejemplo exitoso es AlphaGo, que aprendió a jugar el juego Go y venció a un campeón humano. Este sistema se creó con la combinación de aprendizaje profundo y millones de juegos de jugadores expertos de Go, seguidos de aprendizaje por prueba y error.
  
  
• 00:25:00 En esta sección, la Dra. Joelle Pineau habla sobre un proyecto en el que ella y su equipo han estado trabajando durante varios años con el objetivo de desarrollar tecnología para mejorar los tratamientos para personas con epilepsia. Este proyecto involucra el uso de terapia de estimulación neuronal, donde un dispositivo aplica estimulación eléctrica en el cerebro en tiempo real para interrumpir la incidencia de convulsiones. El problema que están tratando de resolver es cómo optimizar el parámetro de la estimulación para mejorar su capacidad para interrumpir las convulsiones. En colaboración con los investigadores, utilizaron el aprendizaje por refuerzo para optimizar la estrategia y pudieron desarrollar una política que es muy diversa, espaciando la incidencia de la estimulación en función de si el cerebro está en riesgo inmediato de convulsiones o no. Estos experimentos se llevaron a cabo con modelos animales de epilepsia, y el siguiente paso es pasar a los experimentos con humanos.
  
  
• 00:30:00 En esta sección, la Dra. Joelle Pineau analiza el uso de estrategias de IA para optimizar el tratamiento, en particular para enfermedades que requieren una secuencia de intervenciones. Si bien tener muchos datos es importante, señala que el aprendizaje eficiente a partir de conjuntos de datos más pequeños también es crucial. Ella enfatiza la necesidad de colaboración entre los investigadores de IA y los investigadores médicos que tienen conocimiento y comprensión específicos de la dinámica de la enfermedad. Además, destaca la importancia de desarrollar talento en muchos sectores de la economía y la sociedad para estar preparados para la IA. Pineau también analiza la estrategia pancanadiense para producir la próxima generación de estudiantes para ayudar a avanzar en la investigación de IA en Canadá.
  
  
• 00:35:00 En esta sección, los becarios junior del Massey College en Toronto discutieron los impactos socioeconómicos de la IA, específicamente el desplazamiento laboral y las crecientes disparidades de riqueza. Si bien la oradora, la Dra. Joelle Pineau, no es una experta en políticas, sugiere que es importante predecir qué industrias tienen más probabilidades de verse afectadas y preparar a la próxima generación para ese cambio. Un ejemplo de desplazamiento laboral es en la industria del transporte por carretera, donde la automatización puede aliviar algo de presión, ya que es difícil contratar gente nueva. Sin embargo, en el campo de la medicina, puede ser más difícil preparar a las personas para la realidad de que la IA reemplace ciertos trabajos, como los radiólogos. El Dr. Pineau le recuerda al grupo que la sociedad humana es adaptable y que siempre habrá problemas nuevos e interesantes que resolver.
  
  
• 00:40:00 En esta sección, la Dra. Joelle Pineau analiza la importancia de preparar la educación de la próxima generación en matemáticas, ciencias y habilidades informáticas para satisfacer la demanda de incorporar más perspectivas técnicas y codificación en diferentes currículos. Sin embargo, existe una brecha entre los expertos técnicos que pueden no tener una exposición cultural más amplia y los formuladores de políticas que pueden no tener la experiencia técnica, y se necesita tiempo para encontrar un lenguaje común. El Dr. Pineau también comparte que, si bien el cerebro humano es una gran inspiración para la investigación de IA, existen limitaciones físicas en lo que las máquinas pueden hacer que el cerebro humano puede hacer, y las redes neuronales solo representan una parte de la historia de la construcción de estos algoritmos. En términos de aplicaciones de IA, la más emocionante de la Dra. Pineau es el aprendizaje reforzado en robótica, y espera con ansias el futuro de los sistemas autónomos que pueden operar de manera segura y efectiva en entornos centrados en humanos.
  
  
• 00:45:00 En esta sección del video, la Dra. Joelle Pineau habla sobre su trabajo en un proyecto de epilepsia usando IA, que encuentra fascinante debido a las complejidades del problema y la naturaleza interdisciplinaria del trabajo. Ella explica que los desafíos de la IA radican en hacer las preguntas correctas sobre los datos y combinarlos con el algoritmo correcto. La Dra. Pineau también menciona que ella y sus estudiantes de posgrado a menudo necesitan ser creativos e inventar nuevos algoritmos para ajustar los datos. Ella cree que uno de los conceptos erróneos más grandes sobre la IA es que es una caja negra que toma decisiones que los humanos no pueden comprender.
  
  
• 00:50:00 En esta sección, la Dra. Joelle Pineau analiza los desafíos de comprender cómo las redes neuronales toman decisiones. Si bien podemos rastrear las predicciones de una red neuronal, no siempre es fácil explicar por qué hizo esas predicciones de una manera concisa y comprensible como lo hacen los humanos. Sin embargo, si las máquinas pueden diseñarse para construir una narración que explique sus decisiones, podría establecerse un diálogo más rico entre máquinas y humanos. A medida que las máquinas se vuelven más frecuentes en la fuerza laboral, es importante tener un lenguaje para explicar las decisiones de los demás para crear una asociación entre humanos y máquinas. El Dr. Pineau también aborda el tema del sesgo en los datos, que a menudo es inherentemente humano y puede conducir a un sesgo en los algoritmos de aprendizaje automático. Si bien el sesgo inductivo es esencial en el entrenamiento de algoritmos, debemos ser conscientes de nuestros sesgos y elegir buenos datos y sesgos inductivos para diseñar sistemas imparciales.
  
  
• 00:55:00 En esta sección, la Dra. Joelle Pineau analiza la importancia de evitar sesgos al entrenar modelos y métodos de IA para lograrlo, como sobrerrepresentar tipos de datos subrepresentados. Sin embargo, también señala que es difícil evitar por completo el sesgo y que debemos centrarnos en aumentar la diversidad entre las personas que crean la tecnología. Además, reconoce desafíos en el campo, como problemas de privacidad y seguridad con respecto a los datos, comprender lo que se comparte al distribuir algoritmos de aprendizaje automático y descubrir la función de recompensa adecuada para los agentes en el aprendizaje por refuerzo.
• 01:00:00 En esta sección, la Dra. Joelle Pineau habla sobre la importancia de incorporar diversas perspectivas al campo de la inteligencia artificial (IA) para expandir la gama de tecnología. Menciona iniciativas como el programa AI for Good de McGill, que reúne a mujeres jóvenes para una formación avanzada en IA y proyectos prácticos. Sin embargo, Pineau señala que aún queda mucho trabajo por hacer para medir el impacto de estas iniciativas, particularmente a medida que se introduce la codificación en los planes de estudios escolares. El cuello de botella en el desarrollo de IA, según Pineau, es la falta de talento y la necesidad de capacitar a más personas en este campo rápidamente. Sobre el tema de cómo capacitar a las personas para la investigación de IA, reconoce el espectro de oportunidades disponibles y la necesidad de hacerlo mejor en todos los niveles. En general, Pineau enfatiza la importancia de tener una fuerza laboral diversa y bien capacitada para avanzar en el campo de la IA.
  
  
• 01:05:00 En esta sección, el orador finaliza el evento agradeciendo a los asistentes y anunciando un próximo evento con Michele Lamont, becaria de Seafire en la Universidad de Harvard. Lamont discutirá cómo las sociedades pueden volverse más inclusivas y recibirá el Premio Erasmus más adelante en el otoño del rey de los Países Bajos. El evento se llevará a cabo en el hotel Omni King Edward el 14 de noviembre.

[MetaQuotes]

Inteligencia artificial y algoritmos: pros y contras | Documental de DW (documental de IA)

Inteligencia artificial y algoritmos: pros y contras | Documental de DW (documental de IA)

El video analiza los pros y los contras de la inteligencia artificial, con un enfoque en las implicaciones éticas de la IA. Destaca cómo se puede usar la IA para mejorar la eficiencia y la seguridad pública, pero también cómo se puede usar para violar la privacidad. El video entrevista a Jens Redma, un antiguo empleado de Google, sobre la importancia de la IA para la empresa.

• 00:00:00 La inteligencia artificial avanza rápidamente, con el potencial de revolucionar muchos aspectos de la vida diaria. Sin embargo, también existen preocupaciones sobre las implicaciones de la inteligencia artificial en la fuerza laboral y en la privacidad.
  
  
• 00:05:00 La inteligencia artificial se utiliza para analizar grandes conjuntos de datos, incluidas radiografías de tórax, para identificar anomalías. La precisión de los algoritmos es similar a la de los radiólogos humanos. Sin embargo, los algoritmos no son perfectos y aún se necesitan humanos para tomar decisiones en la clínica en función de las probabilidades.
  
  
• 00:10:00 Max Little es un matemático de la Universidad de Aston que desarrolló un algoritmo para detectar diferencias en los patrones vocales entre personas con y sin enfermedad de Parkinson. El estudio mostró que el algoritmo tenía una precisión de casi el 99 % en la identificación de la afección. Si bien este trabajo es potencialmente valioso, existen preocupaciones éticas sobre el uso de estos datos para diagnosticar a personas sin el consentimiento adecuado.
  
  
• 00:15:00 El video presenta las ventajas y desventajas de la inteligencia artificial, incluida su capacidad para mejorar la seguridad pública y la eficiencia. También analiza el equilibrio entre privacidad y seguridad. En China, existe una tradición diferente y se aborda el tema de la privacidad y la vigilancia, con un enfoque en la eficiencia y la recopilación de datos.
  
  
• 00:20:00 En el video, se discuten los pros y los contras de la inteligencia artificial. El video también analiza cómo las empresas como Google tienen un impacto en la sociedad y cómo la Unión Europea actualmente le impone a Google una multa antimonopolio de 2.700 millones de dólares.
  
  
• 00:25:00 El video analiza la importancia de la inteligencia artificial (IA) para Google y analiza algunas de las preocupaciones que se plantean sobre su impacto en la sociedad. También entrevista a Jens Redma, un antiguo empleado de Google, sobre la importancia de la IA para la empresa.
  
  
• 00:30:00 El video analiza los pros y los contras de la inteligencia artificial, destacando la importancia de la intuición y la toma de decisiones humanas en el campo. Habla de la necesidad de que la IA sea capaz de navegar en entornos complejos y las dificultades que implica lograrlo.
  
  
• 00:35:00 La inteligencia artificial puede ayudar a los conductores a evitar accidentes, pero existen cuestiones éticas sobre cómo decidir a quién salvar en una situación tan acelerada. En una encuesta en línea reciente, las personas acordaron una serie de valores morales, pero difirieron sobre cómo actuar en escenarios específicos.
  
  
• 00:40:00 En este documental, los investigadores discuten los pros y los contras de la inteligencia artificial y los algoritmos. Discuten cómo la IA puede ayudarnos a tomar decisiones de manera más eficiente, pero tenga en cuenta que aún quedan cuestiones éticas por abordar.