Apprendimento automatico e Reti Neurali - pagina 10

[MetaQuotes]

Geoffrey Hinton e Yann LeCun, conferenza ACM AM Turing Award 2018 "The Deep Learning Revolution"

Geoffrey Hinton e Yann LeCun, conferenza ACM AM Turing Award 2018 "The Deep Learning Revolution"

Geoffrey Hinton e Yann LeCun hanno vinto l'ACM AM Turing Award 2018 e hanno tenuto una conferenza sulla rivoluzione del deep learning.
Durante la conferenza, hanno discusso di come il deep learning abbia rivoluzionato l'informatica e di come possa essere utilizzato a vantaggio di vari aspetti della vita. Hanno anche parlato delle sfide del deep learning e del futuro del settore.
Hanno notato che mentre la comprensione teorica dell'apprendimento profondo è importante, spetta ancora agli esseri umani prendere decisioni in situazioni complesse. Hanno anche discusso del potenziale del calcolo evolutivo e di altre forme di intelligenza artificiale nella guida autonoma.

• 00:00:00 Geoffrey Hinton e Yann LeCun tengono la conferenza ACM AM Turing Award 2018, parlando della rivoluzione del deep learning. Discutono di come il deep learning abbia rivoluzionato l'informatica e di come i partecipanti possano trarre vantaggio dalla partecipazione a conferenze correlate.
  
  
• 00:05:00 I tre vincitori dell'ACM AM Turing Award 2018 sono Geoffrey Hinton, Yoshua Bengio e Yann LeCun. Hinton terrà una lezione di storia sullo sviluppo del deep learning, mentre Kuhn discuterà dei continui progressi del deep learning.
  
  
• 00:10:00 Nella sua conferenza ACM AM Turing Award 2018, Geoffrey Hinton discute la rivoluzione del deep learning, che si basa sull'approccio di ispirazione biologica all'intelligenza artificiale. L'approccio del deep learning è più efficiente ed efficace del tradizionale paradigma simbolico, ma è anche più difficile da apprendere.
  
  
• 00:15:00 Nella sua conferenza ACM AM Turing Award 2018, Geoffrey Hinton ha discusso di come funzionano le reti neurali, spiegando che sono una versione semplificata dei neuroni reali nel cervello. Ha anche spiegato come la backpropagation sia una versione efficiente dell'algoritmo di apprendimento per rinforzo e come possa accelerare il processo di addestramento delle reti neurali di un fattore 10 o più.
  
  
• 00:20:00 Geoffrey Hinton e Yann LeCun hanno tenuto una conferenza sulla rivoluzione del deep learning alla cerimonia dell'ACM Turing Award. I due discutono della propagazione all'indietro, della discesa del gradiente stocastico e di come non abbia avuto successo nell'apprendimento su larga scala.
  
  
• 00:25:00 In questa conferenza, Geoffrey Hinton e Yann LeCun discutono della rivoluzione del deep learning, che ha comportato lo sviluppo di reti neurali più efficienti. Con l'aumento della potenza di calcolo disponibile negli ultimi anni, le reti neurali sono diventate sempre più potenti e sono ormai onnipresenti in vari campi della visione artificiale.
  
  
• 00:30:00 Geoffrey Hinton e Yann LeCun hanno tenuto un discorso sulla storia del deep learning e sul suo stato attuale, evidenziando i successi e le sfide del settore. Hanno anche parlato del futuro della visione artificiale, sottolineando l'importanza del deep learning per ottenere risultati migliori.
  
  
• 00:35:00 Nella sua conferenza ACM AM Turing Award 2018, Geoffrey Hinton parla della rivoluzione del deep learning e della sua importanza per l'intelligenza artificiale. Osserva che mentre il deep learning è molto efficace per raggiungere compiti specifici, non è il modo migliore per fare visione. Hinton suggerisce che un aspetto della rivoluzione del deep learning che è stato replicato nel cervello è l'uso di apparati replicati. Lo dimostra chiedendo a un partecipante di indicare gli angoli di un cubo che viene ruotato in modo che l'angolo in alto a sinistra sia verticalmente sopra l'angolo in basso a destra in avanti. Hinton spiega che mentre il deep learning è efficace nell'usare un insieme specifico di pesi per approssimare un output desiderato, non è efficace nel preservare le simmetrie degli oggetti. Predice che in futuro le reti neurali saranno in grado di imparare a riconoscere gli oggetti utilizzando una scala temporale diversa, che sarà analoga a come cambiano le sinapsi nel cervello.
  
  
• 00:40:00 Nella sua conferenza ACM AM Turing Award 2018, Geoffrey Hinton discute la rivoluzione del deep learning, che ritiene sia dovuta alla graduale introduzione di nuove tempistiche nel processo di apprendimento. Discute di come la memoria dell'apprendimento passato sia immagazzinata nei pesi di una rete neurale e di come sia possibile accedere a questa memoria utilizzando pesi veloci. Hinton parla anche dell'impatto dei big data sull'apprendimento profondo e di come i recenti progressi nell'hardware e nel software dei computer abbiano reso l'apprendimento profondo più accessibile ai ricercatori.
  
  
• 00:45:00 La conferenza di Geoffrey Hinton e Yann LeCun ha trattato la rivoluzione del deep learning, l'utilità delle rappresentazioni gerarchiche e il funzionamento del Pennebaker Parenting Network.
  
  
• 00:50:00 Geoffrey Hinton e Yann LeCun hanno tenuto la conferenza dell'ACM AM Turing Award 2018 discutendo del deep learning e del suo potenziale per rivoluzionare vari aspetti della vita. Il loro lavoro sulla segmentazione delle immagini e sulle auto a guida autonoma è stato tra i più notevoli.
  
  
• 00:55:00 Geoffrey Hinton e Yann LeCun hanno tenuto una conferenza sulla rivoluzione del deep learning, discutendo di come gli esseri umani e gli animali siano in grado di apprendere in modo efficiente così rapidamente. Hanno anche discusso di come gli esseri umani e gli animali apprendono concetti osservando e prevedendo il mondo.

[MetaQuotes]

Questo genio canadese ha creato l'IA moderna

Questo genio canadese ha creato l'IA moderna

Geoff Hinton, un pioniere dell'intelligenza artificiale, lavora da quasi 40 anni per far sì che i computer apprendano come gli esseri umani e ha rivoluzionato il campo dell'intelligenza artificiale. Hinton è stato ispirato dal perceptron di Frank Rosenblatt, una rete neurale che imita il cervello, sviluppata negli anni '50. La determinazione di Hinton ha portato a una svolta nel campo dell'IA. A metà degli anni '80, Hinton e i suoi collaboratori hanno creato una rete neurale a più livelli, una rete neurale profonda, che ha iniziato a funzionare in molti modi. Tuttavia, mancavano dei dati e della potenza di calcolo necessari fino al 2006 circa, quando chip superveloci e enormi quantità di dati prodotti su Internet hanno dato agli algoritmi di Hinton una spinta magica: i computer potevano identificare cosa c'era in un'immagine, riconoscere il parlato e tradurre le lingue. Nel 2012, il Canada è diventato una superpotenza dell'IA e le reti neurali e l'apprendimento automatico sono apparsi sulla prima pagina del New York Times.

• 00:00:00 In questa sezione veniamo a conoscenza di Geoff Hinton, che da quasi 40 anni lavora per far sì che i computer apprendano come fanno gli umani. Questa ricerca, che tutti gli altri pensavano fosse senza speranza, ha rivoluzionato il campo dell'intelligenza artificiale e aziende come Google, Amazon e Apple credono che sia il futuro delle loro aziende. L'ispirazione di Hinton venne da Frank Rosenblatt, che negli anni '50 sviluppò il perceptron, una rete neurale che imita il cervello. La rete neurale di Rosenblatt era limitata e non funzionava bene, ma Hinton credeva che le reti neurali potessero funzionare poiché il cervello è solo una grande rete neurale. La determinazione di Hinton a perseguire la sua idea ha portato a una svolta nel campo dell'intelligenza artificiale e le aziende credono che sia il futuro delle loro aziende.
  
  
• 00:05:00 In questa sezione, il video illustra come a metà degli anni '80 Hinton e i suoi collaboratori abbiano progredito nella realizzazione di reti neurali più complicate in grado di risolvere problemi che quelli semplici non potevano. Hanno creato una rete neurale a più livelli, una rete neurale profonda, che ha iniziato a funzionare in molti modi. Tuttavia, hanno raggiunto un limite poiché mancavano i dati necessari e la potenza di calcolo. Negli anni '90 e negli anni 2000, Hinton era una delle poche persone che ancora perseguiva questa tecnologia ed era trattato come un paria. Fino al 2006 circa, quando l'arrivo di chip superveloci e enormi quantità di dati prodotti su Internet hanno dato agli algoritmi di Hinton una spinta magica: i computer potevano identificare cosa c'era in un'immagine, riconoscere il parlato e tradurre le lingue. Nel 2012, le reti neurali e l'apprendimento automatico sono apparse sulla prima pagina del New York Times e il Canada è diventato una superpotenza dell'IA.

[MetaQuotes]

Geoffrey Hinton: I fondamenti dell'apprendimento profondo

Geoffrey Hinton: I fondamenti dell'apprendimento profondo

Il padrino dell'intelligenza artificiale Geoffrey Hinton offre una panoramica delle basi del deep learning. In questo discorso, Hinton analizza i progressi delle reti neurali, applicati al riconoscimento vocale e degli oggetti, alla segmentazione delle immagini e alla lettura o alla generazione di un linguaggio scritto naturale.

Geoffrey Hinton discute le basi del deep learning, in particolare l'algoritmo di backpropagation e la sua evoluzione. Hinton spiega in che modo il deep learning ha influito sul riconoscimento precoce della grafia e alla fine ha portato alla vittoria del concorso ImageNet 2012. Sottolinea inoltre la superiorità dell'apprendimento profondo utilizzando vettori di attività neurale rispetto alla tradizionale intelligenza artificiale simbolica che utilizzava gli stessi simboli in input, output e nel mezzo. Vengono discussi i miglioramenti nei sistemi di traduzione automatica, il riconoscimento delle immagini e la loro combinazione per il ragionamento naturale, insieme al potenziale dell'apprendimento profondo nell'interpretazione delle immagini mediche. Hinton conclude evidenziando la necessità di reti neurali con parametri paragonabili al cervello umano per ottenere una vera elaborazione del linguaggio naturale.

• 00:00:00 In questa sezione, Hinton spiega il concetto di backpropagation, che è l'algoritmo fondamentale utilizzato nel deep learning. Descrive il metodo tradizionale di programmare un computer scrivendo un programma da seguire, passo dopo passo, rispetto al metodo preferito di dire a un computer come imparare attraverso una rete neurale con un algoritmo di apprendimento al suo interno. Questo metodo prevede l'utilizzo di neuroni artificiali con linee di input e pesi che si adattano modificando i punti di forza di tali pesi. Hinton spiega anche il processo di adattamento di tali connessioni utilizzando un semplice algoritmo che funziona in modo simile all'idea di evoluzione, in cui le reti possono essere modificate finché non fanno cose buone. Conclude questa sezione delineando come il calcolo può essere utilizzato per eseguire lo stesso processo in modo più efficiente.
  
  
• 00:05:00 In questa sezione, Geoffrey Hinton spiega le difficoltà incontrate dal deep learning nei suoi primi giorni, in particolare con l'algoritmo di backpropagation. All'inizio, le persone avevano rinunciato alla backpropagation perché non funzionava bene, ma a Toronto, Montreal e New York sono stati fatti pochi progressi tecnici che l'hanno migliorata in modo esponenziale con molti dati di etichetta e molta potenza di calcolo, il che ha lo ha reso anche scalabile. Uno dei problemi pratici che il deep learning ha avuto un primo impatto è stato il riconoscimento della grafia. Un gruppo di studenti ha provato ad applicare l'algoritmo di Hinton al riconoscimento vocale, che a quel tempo aveva solo pochi milioni di esempi di addestramento, e non era considerato pratico in termini di statistica. Tuttavia, sono stati in grado di prevedere quale fonema veniva pronunciato e mettere insieme espressioni plausibili, e tali sistemi di riconoscimento vocale sono ora ampiamente utilizzati in vari sistemi end-to-end.
  
  
• 00:10:00 In questa sezione, Geoffrey Hinton spiega come hanno utilizzato le reti neurali di deep learning per vincere il concorso ImageNet nel 2012. Il sistema è stato in grado di riconoscere i soggetti nelle immagini con quasi la metà del tasso di errore dei sistemi di visione artificiale convenzionali, che si era stabilizzato a circa il 25% di tasso di errore. Questo successo ha avuto un grande impatto quando le persone si sono rese conto del potenziale delle reti neurali di deep learning nel riconoscimento delle immagini. Hinton spiega anche come vengono utilizzate le reti ricorrenti per gestire sequenze come il discorso. I neuroni nascosti si connettono a se stessi, consentendo al sistema di accumulare informazioni e apprendere attraverso la retropropagazione. Questi algoritmi sono stati successivamente utilizzati per le traduzioni automatiche codificando una frase in una lingua in un pensiero e poi traducendola in una frase in un'altra lingua.
  
  
• 00:15:00 In questa sezione, Geoffrey Hinton discute il problema con l'intelligenza artificiale simbolica e come l'attuale forma di deep learning risolve tale problema. La visione tradizionale dell'IA simbolica presupponeva che lo stesso tipo di simboli utilizzati in input e output fosse utilizzato anche nel mezzo, mentre gli esperti di deep learning utilizzano vettori di attività neurale per elaborare i dati. Il testo di input è codificato in un vettore che incorpora funzionalità apprese dalla rete. La rete di decodifica quindi prende questo vettore e produce il pensiero, che viene poi trasformato in un nuovo linguaggio. È interessante notare che tali sistemi funzionano meglio senza far entrare troppa conoscenza linguistica. Invece, Google Translate utilizza un alfabeto fisso di 32.000 frammenti di una lingua e addestra la rete con la backpropagation, dove inizia con pesi e volumi di dati casuali per migliorare costantemente i pesi.
  
  
• 00:20:00 In questa sezione, Geoffrey Hinton descrive alcuni dei miglioramenti apportati ai sistemi di traduzione automatica, come l'aggiunta dell'attenzione e l'uso di frammenti di parole invece di parole intere. Discute anche della combinazione di riconoscimento delle immagini e generazione del linguaggio e di come ciò possa portare al ragionamento naturale nelle macchine. Nonostante il successo di questi sistemi, Hinton suggerisce che avremo bisogno di reti neurali con un numero di parametri paragonabili al cervello umano per ottenere una vera elaborazione del linguaggio naturale.
  
  
• 00:25:00 In questa sezione, Geoffrey Hinton discute il potenziale degli algoritmi di deep learning per superare le prestazioni umane nell'interpretazione delle immagini mediche. Osserva che esiste già un sistema per rilevare i tumori della pelle che è buono come un dermatologo e, con ulteriore formazione su più immagini, potrebbe funzionare significativamente meglio. Hinton sottolinea inoltre che una rete neurale addestrata su etichette prodotte dai medici a volte può superare i medici stessi, poiché la rete può capire cosa sta succedendo quando i medici non sono d'accordo. Infine, racconta la storia di uno studente che ha vinto un concorso per prevedere se una molecola si legherà a qualcosa utilizzando una rete neurale con più strati di unità lineari rettificate e molti più parametri rispetto ai casi di addestramento, e lo ha fatto senza conoscere il nome del campo di studi.

[MetaQuotes]

Heroes of Deep Learning: Andrew Ng intervista Geoffrey Hinton

Heroes of Deep Learning: Andrew Ng intervista Geoffrey Hinton

Geoffrey Hinton, una figura di spicco nel deep learning, ha discusso del suo viaggio e dei contributi sul campo in un'intervista con Andrew Ng. Parla delle origini dell'incorporamento di parole, degli sviluppi limitati delle macchine Boltzmann e del suo recente lavoro su pesi e capsule veloci. Hinton rileva il ruolo cruciale dell'apprendimento senza supervisione nei progressi del deep learning e consiglia agli studenti di leggere ampiamente, lavorare su progetti su larga scala e trovare consulenti con interessi simili. Hinton ritiene che si stia verificando un cambiamento significativo nell'informatica, dove i computer imparano mostrando, e avverte che le università devono mettersi al passo con l'industria nella formazione dei ricercatori per questo nuovo approccio.

• 00:00:00 Geoffrey Hinton spiega come si è interessato all'intelligenza artificiale e all'apprendimento automatico. Al liceo, un amico gli ha fatto conoscere l'idea del cervello che utilizza ologrammi, cosa che ha suscitato il suo interesse per il modo in cui il cervello immagazzina i ricordi. Ha studiato fisiologia e fisica all'università, ma è passato alla psicologia quando l'ha trovata inadeguata a spiegare il funzionamento del cervello. Dopo essersi preso una pausa per fare il falegname, andò a Edimburgo per studiare intelligenza artificiale con Longer Higgins, che all'epoca era scettico nei confronti delle reti neurali. Alla fine Hinton ottenne un dottorato di ricerca in intelligenza artificiale e andò in California, dove pensare a come funziona il cervello era visto come una cosa positiva. Ha collaborato con David Rumelhart al Backpropagation Algorithm, che hanno pubblicato nel 1986 e alla fine ha aiutato la comunità ad accettare l'algoritmo.
  
  
• 00:05:00 In questa sezione, Hinton discute le origini degli incorporamenti di parole, che hanno consentito al backprop di apprendere le rappresentazioni delle parole, e il fatto che Stuart Sutherland sia rimasto impressionato da come, addestrando un modello su terzine di parole, il programma potesse apprendere caratteristiche della semantica come nazionalità, generazione e altro. Hinton osserva che lo sviluppo di incorporamenti di parole ha combinato due diverse visioni della conoscenza (la visione dei concetti di uno psicologo come fasci di caratteristiche con la visione AI dei concetti come il modo in cui si relazionano ad altri concetti), che ha aumentato il tasso di accettazione del documento. All'inizio degli anni '90, Bengio dimostrò che gli sviluppatori potevano utilizzare un approccio simile per ricavare word embedding dai dati, impressionando molti. Successivamente, Hinton ha parlato degli sviluppi realizzati con macchine Boltzmann limitate (RBM), che sono state un fattore significativo nella rinascita delle reti neurali profonde.
  
  
• 00:10:00 In questa sezione, Geoffrey Hinton parla del suo lavoro sull'addestramento di macchine Boltzmann limitate con un livello di funzioni nascoste e sull'utilizzo di tali funzioni apprese come dati per addestrare un altro livello. Spiega che questo approccio ha portato allo sviluppo di un modo efficiente di fare inferenza nelle reti di credenze sigmoidee, che è stato un miglioramento significativo rispetto ai metodi precedenti. Discute anche il suo lavoro sui metodi variazionali e lo sviluppo della matematica alla base dell'uso di unità lineari rettificate (ReLU) nelle reti neurali. Infine, osserva che nel 2014 ha tenuto un discorso a Google sull'utilizzo di ReLU e sull'inizializzazione con la matrice di identità, che copia i modelli nel livello sottostante, portando a miglioramenti significativi nell'addestramento delle reti neurali profonde.
  
  
• 00:15:00 Geoffrey Hinton discute i suoi rimpianti per non aver perseguito l'idea di inizializzare le reti con l'identità, che consentirebbe un addestramento efficiente delle reti neurali profonde. Condivide i suoi pensieri sulla relazione tra la retropropagazione e il cervello, affermando che se la retropropagazione è un buon algoritmo per l'apprendimento, allora il cervello potrebbe aver capito come implementarlo. Propone l'idea di utilizzare pesi veloci che mantengono la memoria a breve termine per gestire più scale temporali nell'apprendimento profondo, che ha presentato per la prima volta ai tempi della scuola di specializzazione.
  
  
• 00:20:00 In questa sezione dell'intervista, Geoffrey Hinton discute il suo lavoro più recente sui pesi veloci e le chiamate ricorsive, che prevede l'uso di pesi veloci per immagazzinare la memoria degli stati di attività dei neuroni durante una chiamata ricorsiva. Parla anche della sua idea di capsule, che prevede la rappresentazione di entità multidimensionali mediante un vettore e l'utilizzo di diverse attività neuronali per rappresentare vari aspetti di quella caratteristica. I neuroni sono raggruppati in piccoli fasci che rappresentano diverse coordinate della caratteristica o sottoinsieme di capsule, ciascuno in grado di rappresentare un'istanza di una caratteristica con molte proprietà diverse, piuttosto che una proprietà scalare, come nelle tradizionali reti neurali. Queste capsule possono quindi instradare le informazioni tramite un sistema di instradamento concordato, che consente un migliore filtraggio e generalizzazione delle reti neurali a partire da dati limitati. Nonostante abbia subito il rifiuto dei giornali su questa idea, Hinton rimane ottimista e persistente nel perseguire le capsule.
  
  
• 00:25:00 Geoffrey Hinton discute di come il suo pensiero sull'intelligenza artificiale e il deep learning si sia evoluto nel corso di diversi decenni. Parla di come inizialmente era interessato alla propagazione all'indietro e all'apprendimento discriminativo e poi ha spostato la sua attenzione sull'apprendimento senza supervisione nei primi anni '90. Hinton parla anche di come l'apprendimento supervisionato abbia funzionato incredibilmente bene nell'ultimo decennio, ma crede ancora che l'apprendimento non supervisionato sarà cruciale per ulteriori progressi. Cita gli auto-codificatori variazionali e le reti generative contraddittorie come idee promettenti per l'apprendimento senza supervisione. Hinton fornisce anche consigli alle persone che vogliono entrare nel deep learning, raccomandando loro di leggere il più possibile e provare a lavorare su un progetto su larga scala per acquisire esperienza.
  
  
• 00:30:00 In questa sezione, la conversazione ruota attorno ai consigli per ricercatori e studenti nel campo dell'intelligenza artificiale e del deep learning. Hinton suggerisce che i ricercatori creativi dovrebbero leggere un po' di letteratura e cercare qualcosa che tutti stanno sbagliando, e poi capire come farlo bene. Consiglia inoltre di non smettere mai di programmare e di fidarsi delle proprie intuizioni. Incoraggia gli studenti laureati a trovare un consulente che abbia convinzioni e interessi simili ai propri per ottenere i consigli più utili. In termini di adesione a un programma di dottorato o a un gruppo di ricerca di alto livello in un'azienda, Hinton osserva che attualmente c'è una carenza di accademici formati nell'apprendimento profondo, ma che pensa che sarà temporaneo man mano che i dipartimenti si mettono al passo con il panorama in evoluzione di il campo.
  
  
• 00:35:00 Geoffrey Hinton spiega che si sta verificando un cambiamento significativo nell'uso dei computer, dove invece di programmarli, ora li mostriamo e loro lo capiscono. Questo nuovo approccio all'informatica è diverso e significativo e i dipartimenti di informatica devono riconoscere e accogliere con favore l'approccio che dimostra di essere grande quanto la programmazione nell'impatto sull'informatica. Sebbene le grandi aziende stiano ora formando le persone su questo nuovo approccio, Hinton ritiene che non passerà molto tempo prima che le università si adeguino. Hinton prosegue spiegando il cambio di paradigma nell'intelligenza artificiale dalla convinzione che le rappresentazioni necessarie per l'intelligenza fossero espressioni simboliche di una logica ripulita alla visione corrente secondo cui i pensieri sono solo grandi grandi vettori di attività neurale.

[MetaQuotes]

Heroes of Deep Learning: Andrew Ng intervista Yann LeCun

Heroes of Deep Learning: Andrew Ng intervista Yann LeCun

In questa intervista tra Andrew Ng e Yann LeCun, LeCun parla del suo primo interesse per l'intelligenza artificiale e la scoperta delle reti neurali. Descrive anche il suo lavoro sulle reti neurali convoluzionali e la storia dietro le CNN. LeCun parla di come ha persistito nel campo, nonostante la mancanza di interesse per le reti neurali a metà degli anni '90, e alla fine il suo lavoro sulle CNN ha preso il sopravvento nel campo della visione artificiale. Discute anche del momento decisivo nella visione artificiale quando il team AlexNet ha vinto il concorso ImageNet 2012 e consiglia a coloro che cercano una carriera nell'intelligenza artificiale e nell'apprendimento automatico di rendersi utili contribuendo a progetti open source o implementando algoritmi.

• 00:00:00 In questa sezione, Yann LeCun parla del suo primo interesse per l'intelligenza artificiale e di come si è imbattuto nel concetto di reti neurali. Descrive come ha scoperto documenti di ricerca sulle reti di perceptron e automi, ispirandolo a ricercare come addestrare reti neurali con più livelli. Ciò lo ha portato a incontrare persone in un laboratorio indipendente in Francia che erano interessate alla stessa cosa e, infine, al suo lavoro con le macchine Boltzmann.
  
  
• 00:05:00 In questa sezione, LeCun parla di come ha incontrato Terry Zaleski, che all'epoca stava lavorando alla backpropagation, e di come entrambi l'hanno inventata indipendentemente prima di incontrarsi. Cita anche come ha iniziato a lavorare sulle reti convoluzionali durante la sua permanenza presso AT&T Bell Labs e come le ha testate su un piccolo set di dati che ha creato disegnando caratteri con il suo mouse, e come questo ha portato alla creazione del set di dati USPS con 5.000 training campioni. Ha addestrato una rete convoluzionale su questo set di dati e ha ottenuto risultati migliori rispetto ad altri metodi utilizzati in quel momento.
  
  
• 00:10:00 In questa sezione dell'intervista, Yann LeCun discute la storia delle reti neurali convoluzionali, o CNN. Parla della prima versione della rete commerciale che hanno sviluppato presso i Bell Labs, che non disponeva di livelli separati di sottocampionamento e raggruppamento, e di come hanno dovuto apportare miglioramenti significativi alla rete per ridurre i tempi di calcolo. LeCun condivide anche una storia interessante su come tenere un discorso alla CNN, dove gli è stato detto da Geoff Hinton che "se fai tutte le cose sensate, funziona davvero". Tuttavia, nonostante i risultati promettenti, le CNN non sono state ampiamente adottate al di fuori di AT&T a causa della mancanza di Internet, software standardizzato e piattaforme hardware.
  
  
• 00:15:00 In questa sezione, Yann LeCun parla del suo lavoro sul riconoscimento dei caratteri e di come lo ha portato ad avviare il progetto "Digital Djvu" per archiviare e comprimere digitalmente documenti scansionati per la condivisione su Internet. Parla anche di come ha sempre creduto che le tecniche di deep learning alla fine sarebbero diventate utili, soprattutto con la crescente potenza dei computer, ma a causa della mancanza di interesse a metà degli anni '90, ci sono stati circa 7 anni in cui nessuno faceva ricerche sulle reti neurali . Nonostante questa battuta d'arresto, LeCun ha continuato a persistere nel campo e il suo lavoro sulle reti neurali convoluzionali ha assunto il campo della visione artificiale e ha iniziato a invadere in modo significativo altri campi.
  
  
• 00:20:00 In questa sezione del video, Yann LeCun descrive il momento decisivo nella comunità della visione artificiale quando il team di AlexNet ha vinto il concorso ImageNet 2012 con un ampio margine, sorprendendo la maggior parte della comunità. LeCun prosegue discutendo il suo punto di vista unico su come dovrebbe essere condotta la ricerca aziendale, spiegando che gli è stata data molta libertà di impostare Facebook AI Research (FAIR) nel modo in cui riteneva più appropriato, con un'enfasi sulla ricerca aperta e collaborazione con le università. Accenna persino al fatto che la stragrande maggioranza delle sue pubblicazioni negli ultimi quattro anni sono state con i suoi studenti alla New York University.
  
  
• 00:25:00 In questa sezione, Yann LeCun consiglia a coloro che cercano una carriera nell'intelligenza artificiale e nell'apprendimento automatico di rendersi utili contribuendo a un progetto open source o implementando un algoritmo e mettendolo a disposizione di altri. Crede che gli strumenti e le risorse disponibili ora rendano facile il coinvolgimento delle persone a un certo livello, anche gli studenti delle scuole superiori. Facendo contributi interessanti e utili, le persone possono farsi notare e potenzialmente ottenere un lavoro presso un'azienda desiderata o essere accettate in un programma di dottorato.

[MetaQuotes]

Heroes of Deep Learning: Andrew Ng intervista Ian Goodfellow

Heroes of Deep Learning: Andrew Ng intervista Ian Goodfellow

In un'intervista con Andrew Ng, Ian Goodfellow parla della sua passione per il deep learning e di come si è interessato al campo mentre studiava a Stanford. Goodfellow discute la sua invenzione delle reti generative avversarie (GAN) e il loro potenziale nell'apprendimento profondo, sottolineando anche la necessità di rendere le GAN più affidabili. Riflette su come il suo pensiero sull'intelligenza artificiale e sul deep learning si sia evoluto nel corso degli anni, dal semplice far funzionare la tecnologia per le attività relative all'IA all'esplorazione del pieno potenziale dei modelli di deep learning. Goodfellow condivide anche consigli per coloro che vogliono essere coinvolti nell'intelligenza artificiale, affermando che scrivere un buon codice e creare sicurezza negli algoritmi di apprendimento automatico fin dall'inizio sono fondamentali.

• 00:00:00 In questa sezione, Ian Goodfellow discute di come si è interessato al campo dell'intelligenza artificiale e del deep learning, grazie al suo consulente universitario a Stanford e al corso di intelligenza artificiale su Internet di Andrew Ng. Spiega come lui e un amico hanno costruito una delle prime macchine basate su GPU CUDA a Stanford e come questo ha portato alla sua forte intuizione che il deep learning fosse la strada da percorrere in futuro. Goodfellow prosegue parlando della sua invenzione dei GAN e di come gli è venuta l'idea mentre studiava i modelli generativi. Infine, riflette su un'esperienza personale che ha riaffermato il suo impegno nella ricerca sull'IA.
  
  
• 00:05:00 In questa sezione, Ian Goodfellow discute il potenziale delle reti generative avversarie (GAN) e il loro futuro nel deep learning. Spiega che sebbene i GAN siano attualmente utilizzati per una varietà di compiti, spesso possono essere inaffidabili e stabilizzarli è uno degli obiettivi principali della sua ricerca. Goodfellow ritiene che mentre i GAN sono importanti ora, alla fine saranno sostituiti da altre forme di modelli generativi se non saranno resi più affidabili. Discute anche della sua esperienza come coautore del primo libro di testo sull'apprendimento profondo e sottolinea l'importanza di comprendere i principi matematici sottostanti per padroneggiare il campo. Infine, Goodfellow riflette su come il suo pensiero sull'intelligenza artificiale e il deep learning si sia evoluto nel corso degli anni, dal semplice far funzionare la tecnologia per le attività relative all'IA all'esplorazione del pieno potenziale dei modelli di deep learning.
  
  
• 00:10:00 In questa sezione, Ian Goodfellow discute l'evoluzione del deep learning e la pletora di percorsi esistenti nell'IA. Condivide consigli per coloro che vogliono essere coinvolti nell'intelligenza artificiale, affermando che scrivere un buon codice e metterlo su GitHub può attirare l'attenzione e lavorare su un progetto insieme alla lettura di libri potrebbe essere utile. Parla anche dell'importanza di integrare la sicurezza negli algoritmi di apprendimento automatico fin dall'inizio, invece di aggiungerla in un secondo momento. Queste misure garantirebbero che gli algoritmi siano sicuri e impedirebbero problemi di sicurezza che potrebbero insorgere in seguito.

[MetaQuotes]

Heroes of Deep Learning: Andrew Ng intervista Andrej Karpathy

Heroes of Deep Learning: Andrew Ng intervista Andrej Karpathy

In un'intervista con Andrew Ng, Andrej Karpathy discute la sua introduzione al deep learning attraverso una lezione con Geoff Hinton e come è diventato il punto di riferimento umano per il concorso di classificazione delle immagini ImageNet. Parla dei risultati sorprendenti quando le reti profonde del software hanno superato le sue prestazioni e ha deciso di insegnarlo agli altri attraverso la creazione di un corso online. Karpathy discute anche del futuro dell'IA e di come il campo si dividerà probabilmente in due traiettorie: AI applicata e AGI. Consiglia a coloro che vogliono entrare nel campo del deep learning di costruire una piena comprensione dell'intero stack implementando tutto da zero.

• 00:00:00 In questa sezione, Andrej Karpathy parla di come si è interessato per la prima volta al deep learning durante i suoi studi universitari all'Università di Toronto mentre frequentava un corso con Geoff Hinton. Discute anche di come è diventato il punto di riferimento umano per il concorso di classificazione delle immagini ImageNet e ha creato un'interfaccia Javascript per capire come il punto di riferimento rispetto alle capacità umane. Descrive la sfida di classificare le immagini da un migliaio di categorie e la sorprendente consapevolezza che un terzo del set di dati di ImageNet erano cani, portando a dedicare una quantità di tempo insolitamente lunga all'addestramento sulle specie di cani.
  
  
• 00:05:00 In questa sezione, Andrej Karpathy parla di essere rimasto sorpreso quando le reti profonde del software hanno superato le sue prestazioni in determinate attività. Discute di come la tecnologia sia stata trasformativa e ha deciso di insegnarla ad altri attraverso la creazione di un corso online. La capacità di comprendere la tecnologia e il fatto che continui a cambiare su base giornaliera è ciò che ha entusiasmato gli studenti. Karpathy parla anche di come il campo del deep learning si stia rapidamente evolvendo e di quanto sia diventata generale la tecnologia. È sorpreso di come funzioni bene non solo per ImageNet, ma anche per la messa a punto e il trasferimento dell'apprendimento. È anche sorpreso dal modo in cui l'apprendimento senza supervisione non ha ancora mantenuto la promessa che molti ricercatori speravano.
  
  
• 00:10:00 In questa sezione, Karpathy discute il futuro dell'IA, affermando che il campo probabilmente si dividerà in due traiettorie. Il primo è l'IA applicata, che prevede l'utilizzo di reti neurali per l'apprendimento supervisionato e possibilmente non supervisionato, e l'altro è AGI, che si concentra sulla creazione di una singola rete neurale che sia un sistema dinamico completo. Ritiene che scomporre l'IA in varie parti e poi metterle insieme non sia corretto, e sostiene invece l'utilizzo di una singola rete neurale come un intero agente per creare obiettivi in grado di ottimizzare i pesi e ottenere un comportamento intelligente. Alla domanda sui consigli per coloro che vogliono entrare nel campo del deep learning, Karpathy incoraggia a costruire una piena comprensione dell'intero stack implementando tutto da zero, piuttosto che lavorare solo con un framework come TensorFlow.
  

[MetaQuotes]

Heroes of Deep Learning: Andrew Ng intervista il direttore della ricerca AI di Apple, Ruslan Salakhutdinov

Heroes of Deep Learning: Andrew Ng intervista il direttore della ricerca AI di Apple, Ruslan Salakhutdinov

Ruslan Salakhutdinov, Director of AI Research di Apple, parla dell'evoluzione del deep learning, delle sfide nella formazione di modelli generativi e dell'apprendimento non supervisionato e delle entusiasmanti frontiere della ricerca sul deep learning. Incoraggia inoltre i ricercatori a esplorare metodi diversi e a non aver paura di innovare.
Salakhutdinov sottolinea l'importanza di costruire sistemi basati sul dialogo e in grado di leggere il testo in modo intelligente, e l'obiettivo finale di raggiungere capacità di apprendimento più simili a quelle umane.

• 00:00:00 In questa sezione, Ruslan Salakhutdinov discute di come ha iniziato a dedicarsi al deep learning, iniziando con un incontro casuale con Jeff Hinton che lo ha introdotto al concetto di utilizzo di macchine Boltzmann restrittive e formazione supervisionata. Con l'aiuto e la guida di Hinton, Salakhutdinov è stato in grado di co-autore di uno dei primissimi documenti sulle macchine Boltzmann limitate, che ha contribuito a far ripartire la rinascita delle reti neurali e del deep learning. Tuttavia, con il miglioramento della potenza di calcolo, i ricercatori si sono resi conto che non era necessario eseguire il pre-addestramento utilizzando macchine Boltzmann restrittive e sono stati in grado di addestrare modelli profondi direttamente utilizzando tecniche di ottimizzazione tradizionali.
  
  
• 00:05:00 In questa sezione, Ruslan Salakhutdinov discute l'evoluzione del deep learning e l'importanza della pre-formazione nei primi giorni in cui i computer erano più lenti. Cita anche la sfida della formazione di modelli generativi e di apprendimento non supervisionato rispetto all'apprendimento supervisionato. Sebbene ci siano stati progressi nella modellazione generativa con tecniche come autocodificatori variazionali e modelli energetici come quelli del suo stesso laboratorio, crede che occorra trovare modi più efficienti e scalabili per addestrare modelli non supervisionati. Sottolinea che questa è un'area importante da esplorare per coloro che sono interessati all'apprendimento profondo.
  
  
• 00:10:00 In questa sezione, Ruslan Salakhutdinov, direttore della ricerca AI di Apple, discute le sfide nell'utilizzo di una grande quantità di dati non etichettati nell'apprendimento automatico, nonché consigli per coloro che vogliono entrare nel campo. Incoraggia i ricercatori a provare metodi diversi e a non aver paura di innovare, citando un esempio di come lui e il suo team hanno affrontato il difficile problema dell'ottimizzazione di sistemi altamente non convessi nelle reti neurali. Salakhutdinov discute anche dei pro e dei contro di fare un dottorato di ricerca rispetto a entrare in un'azienda nel campo del deep learning, sottolineando che sia il mondo accademico che l'industria offrono interessanti opportunità di ricerca e sviluppo.
  
  
• 00:15:00 In questa sezione, Ruslan Salakhutdinov discute le entusiasmanti frontiere della ricerca sull'apprendimento profondo, in particolare in aree come l'apprendimento profondo per rinforzo, il ragionamento e la comprensione del linguaggio naturale e la capacità di apprendere da un minor numero di esempi. Osserva che ci sono stati molti progressi nell'addestramento dell'IA nei mondi virtuali e la sfida ora sta nel ridimensionare questi sistemi, sviluppare nuovi algoritmi e far comunicare tra loro gli agenti di intelligenza artificiale. Inoltre, sottolinea l'importanza di costruire sistemi basati sul dialogo e in grado di leggere il testo in modo intelligente. Infine, menziona l'obiettivo di raggiungere capacità di apprendimento più simili a quelle umane.

[MetaQuotes]

Heroes of Deep Learning: Andrew Ng intervista Yoshua Bengio

Heroes of Deep Learning: Andrew Ng intervista Yoshua Bengio

Andrew Ng intervista Yoshua Bengio e discutono di vari argomenti relativi al deep learning. Bengio spiega come è entrato nel deep learning e come si è evoluto il suo pensiero sulle reti neurali. Discute anche i suoi contributi allo sviluppo di incorporamenti di parole per sequenze di parole e deep learning con pile di codificatori automatici. Inoltre, Bengio sottolinea l'importanza dell'apprendimento senza supervisione e il suo interesse a comprendere la relazione tra apprendimento profondo e cervello.
Bengio sottolinea la necessità di comprendere la scienza del deep learning e una ricerca adeguata per affrontare le grandi sfide. Infine, si concentrano sulla necessità di una solida conoscenza di base della matematica per una carriera nell'apprendimento profondo e sull'importanza della formazione continua.

• 00:00:00 In questa sezione, Yoshua Bengio discute di come è entrato nel deep learning, a partire dal suo amore per la fantascienza e dai suoi studi universitari nel 1985. Parla della sua eccitazione quando ha scoperto il mondo del pensiero sull'intelligenza umana e di come potrebbe connettersi con l'intelligenza artificiale. Bengio riflette anche su come si è evoluto il suo pensiero sulle reti neurali, dagli esperimenti iniziali allo sviluppo di teorie e solide giustificazioni del perché certe tecniche, come backprop e depth, funzionino così bene. Inoltre, parla della sua sorpresa per il fatto che la funzione ReLU funzioni meglio delle tradizionali non linearità uniformi che inizialmente pensava fossero necessarie. Bengio sottolinea l'importanza delle informazioni distribuite attraverso l'attivazione di molti neuroni e il modo in cui si collega alle intuizioni iniziali che lo hanno entusiasmato per le reti neurali.
  
  
• 00:05:00 In questa sezione, Yoshua Bengio discute i suoi primi lavori sull'uso delle reti neurali per affrontare la maledizione della dimensionalità e creare distribuzioni congiunte efficienti su molte variabili casuali. Cita anche il suo lavoro sulla creazione di incorporamenti di parole per sequenze di parole, che consentono la generalizzazione tra parole con significati semantici simili. Bengio prosegue menzionando molte altre importanti invenzioni o idee del suo gruppo di ricerca, tra cui lo sviluppo dell'apprendimento profondo con pile di codificatori automatici e l'uso dell'attenzione nella traduzione automatica neurale. Discute anche del suo interesse per la comprensione della relazione tra apprendimento profondo e cervello e del suo lavoro sullo sviluppo di un sistema simile alla retropropagazione che potrebbe essere implementato dal cervello.
  
  
• 00:10:00 In questa sezione, Yoshua Bengio parla della sua ispirazione dai pensieri di Geoff Hinton su come funziona il cervello e sull'uso potenziale del codice temporale per esso. Discute di come l'apprendimento senza supervisione sia essenziale in quanto consente la costruzione di modelli mentali che spiegano il mondo senza dati etichettati. Parla anche della sua combinazione di apprendimento senza supervisione e apprendimento per rinforzo per ottenere una migliore comprensione dei concetti sottostanti districati l'uno dall'altro esplorando e cercando di controllare le cose. Il problema con la ricerca sull'apprendimento non supervisionato è che ci sono così tanti modi diversi per affrontare questo problema e non esiste una buona definizione di cosa costituisca una buona funzione obiettivo per misurare se un sistema sta andando bene o no. Infine, Yoshua afferma che lo stato attuale del deep learning è ancora lontano da dove vorrebbe che fosse, e si sente ambizioso nel portarlo al livello successivo.
  
  
• 00:15:00 In questa sezione, Yoshua Bengio parla del suo entusiasmo per la ricerca concentrandosi sui principi fondamentali di come i computer possono osservare e interagire con il mondo per scoprire come funziona. Discute di come tale ricerca porterà a una migliore comprensione di come funziona il mondo e spera che aiuterà ad affrontare grandi sfide come il trasferimento dell'apprendimento e le questioni nazionali comuni. Bengio osserva che la sperimentazione su problemi minori può portare a cicli di ricerca più rapidi e a una migliore comprensione, che alla fine possono essere ampliati. Sottolinea l'importanza di capire cosa sta succedendo nel deep learning e la necessità di condividere pensieri sulla scienza del deep learning.
  
  
• 00:20:00 In questa sezione, Yoshua Bengio, una figura rinomata nel deep learning, ha discusso l'importanza di comprendere i fenomeni di interesse e condurre una ricerca adeguata, piuttosto che sforzarsi esclusivamente di battere benchmark o concorrenti. Per le persone che desiderano entrare nel campo, ha sottolineato la necessità di esercitarsi, inclusa la lettura, la programmazione e la sperimentazione. Bengio ha affermato che mentre un forte background in informatica e matematica è utile, le persone senza una precedente conoscenza dell'apprendimento automatico possono ancora imparare e diventare competenti in pochi mesi.
  
  
• 00:25:00 In questo estratto, Andrew Ng e Yoshua Bengio discutono dell'importanza di avere una solida conoscenza di base della matematica come l'algebra, l'ottimizzazione e il calcolo quando si persegue una carriera nel deep learning. Bengio sottolinea la necessità di una formazione continua e di un apprendimento continuo per rimanere aggiornati sul campo. Entrambi esprimono gratitudine per l'opportunità di condividere le loro intuizioni e conoscenze con gli altri.
  

[MetaQuotes]

Heroes of Deep Learning: Andrew Ng intervista Pieter Abbeel

Heroes of Deep Learning: Andrew Ng intervista Pieter Abbeel

Pieter Abbeel discute le sfide e il potenziale dell'apprendimento profondo per rinforzo in questa intervista con Andrew Ng. Rileva la necessità di ulteriore lavoro nell'esplorazione, nell'assegnazione di crediti e nella generazione di esempi negativi. Abbeel sottolinea anche i problemi di sicurezza e l'importanza di raccogliere dati di apprendimento sicuri quando si insegna ai robot a vivere in modo autonomo. Consiglia alle persone di proseguire la pratica pratica con framework popolari e suggerisce i vantaggi di ricevere tutoraggio da professionisti esperti. Inoltre, suggerisce la necessità dell'apprendimento per rinforzo nel dare alle macchine obiettivi di raggiungimento e rileva l'importanza della clonazione comportamentale e dell'apprendimento supervisionato prima di aggiungere la componente dell'apprendimento per rinforzo.

• 00:00:00 In questa sezione, Pieter Abbeel parla di come inizialmente si è interessato all'ingegneria a causa dei suoi interessi per la matematica e la fisica, e di come questo alla fine lo ha portato al machine learning e al deep reinforcement learning. Parla delle sfide che esistono ancora nell'apprendimento per rinforzo profondo, come l'esplorazione e l'assegnazione dei crediti, e di come sia ancora necessario generare esempi negativi per migliorare questi sistemi. Osserva inoltre che i successi dell'apprendimento profondo per rinforzo sono stati principalmente in orizzonti temporali brevi e che c'è ancora molto lavoro da fare in questo campo per consentire ai sistemi di ragionare su tempi più lunghi.
  
  
• 00:05:00 In questa sezione dell'intervista, Pieter Abbeel discute le sfide dell'insegnare a un robot oa un agente software a vivere una vita autonoma, sottolineando che la sicurezza pone una serie di problemi, inclusa la raccolta di dati di apprendimento sicuri. Condivide anche il suo entusiasmo per l'esplorazione attiva e il rafforzamento degli algoritmi di apprendimento per trovare meccanismi più efficienti che possano sostituire il design umano in futuro. Infine, offre consigli a coloro che perseguono una carriera nell'intelligenza artificiale, sottolineando che il campo offre vaste opportunità di lavoro e suggerendo materiale di apprendimento online come i corsi di deep learning di Andrew Ng e Berkeley per iniziare.
  
  
• 00:10:00 In questa sezione, Pieter Abbeel illustra come iniziare a conoscere il deep learning e il machine learning, sottolineando l'importanza della pratica pratica e della sperimentazione con framework popolari come TensorFlow e PyTorch. Discute anche i pro ei contro di perseguire un dottorato di ricerca rispetto a ottenere un lavoro in una grande azienda, evidenziando i vantaggi di ricevere tutoraggio da professionisti esperti. Abbeel prosegue poi descrivendo alcuni dei successi dell'apprendimento per rinforzo profondo, come un robot che impara a correre o giocare da zero ai classici giochi Atari, ma osserva che il passo successivo è capire come riutilizzare questa conoscenza appresa per attività future. Prevede inoltre che molte aziende si affideranno all'apprendimento supervisionato con l'assistenza umana per l'immediato futuro.
  
  
• 00:15:00 In questa sezione, Pieter Abbeel suggerisce l'uso dell'apprendimento per rinforzo per dare alle macchine obiettivi di realizzazione piuttosto che semplicemente abbinare le azioni umane. La macchina verrà addestrata utilizzando la clonazione comportamentale o l'apprendimento supervisionato prima di aggiungere il componente di apprendimento per rinforzo. Questo approccio richiede tempo ma è efficace nello sviluppo di macchine in grado di raggiungere gli obiettivi prefissati. L'apprendimento per rinforzo da solo può essere pericoloso e richiedere molto tempo.