Maschinelles Lernen und neuronale Netze - Seite 10

[MetaQuotes]

Geoffrey Hinton: Die Grundlagen des Deep Learning

Geoffrey Hinton: Die Grundlagen des Deep Learning

Godfather of Artificial Intelligence Geoffrey Hinton gibt einen Überblick über die Grundlagen von Deep Learning. In diesem Vortrag erläutert Hinton die Fortschritte neuronaler Netze, wie sie auf Sprach- und Objekterkennung, Bildsegmentierung und Lesen oder Generieren natürlicher geschriebener Sprache angewendet werden.

Geoffrey Hinton erörtert die Grundlagen des Deep Learning, insbesondere den Backpropagation-Algorithmus und seine Entwicklung. Hinton erklärt, wie sich Deep Learning auf die frühe Handschrifterkennung auswirkte und schließlich zum Gewinn des ImageNet-Wettbewerbs 2012 führte. Er betont auch die Überlegenheit von Deep Learning unter Verwendung von Vektoren neuronaler Aktivität gegenüber der traditionellen symbolischen KI, die dieselben Symbole in Eingabe, Ausgabe und Mitte verwendet. Die Verbesserungen bei maschinellen Übersetzungssystemen, Bilderkennung und deren Kombination für natürliches Denken werden diskutiert, zusammen mit dem Potenzial für Deep Learning bei der Interpretation medizinischer Bilder. Abschließend betont Hinton die Notwendigkeit neuronaler Netze mit Parametern, die mit denen des menschlichen Gehirns vergleichbar sind, um eine echte Verarbeitung natürlicher Sprache zu erreichen.

• 00:00:00 In diesem Abschnitt erklärt Hinton das Konzept der Backpropagation, dem grundlegenden Algorithmus, der beim Deep Learning verwendet wird. Er beschreibt die traditionelle Methode, einen Computer zu programmieren, indem er ein Programm schreibt, dem er Schritt für Schritt folgt, im Gegensatz zu der bevorzugten Methode, einem Computer zu sagen, wie er durch ein neuronales Netzwerk mit einem darin enthaltenen Lernalgorithmus lernen soll. Bei dieser Methode werden künstliche Neuronen mit Eingabelinien und Gewichten verwendet, die sich anpassen, indem sie die Stärken dieser Gewichte ändern. Hinton erklärt auch den Prozess der Anpassung dieser Verbindungen, indem er einen einfachen Algorithmus verwendet, der ähnlich wie die Idee der Evolution funktioniert, bei der an Netzwerken herumgebastelt werden kann, bis sie gute Dinge tun. Er schließt diesen Abschnitt ab, indem er skizziert, wie die Infinitesimalrechnung verwendet werden kann, um denselben Prozess effizienter durchzuführen.
  
  
• 00:05:00 In diesem Abschnitt erklärt Geoffrey Hinton die Schwierigkeiten, die Deep Learning in seinen frühen Tagen hatte, insbesondere mit dem Backpropagation-Algorithmus. Anfangs hatten die Leute die Backpropagation aufgegeben, weil sie nicht gut funktionierte, aber in Toronto, Montreal und New York wurden nur wenige technische Fortschritte erzielt, die sie exponentiell mit vielen Etikettendaten und viel Rechenleistung verbesserten, was der Fall war machte es auch skalierbar. Eines der praktischen Probleme, auf die sich Deep Learning zuerst auswirkte, war die Handschrifterkennung. Eine Gruppe von Studenten versuchte, Hintons Algorithmus auf die Spracherkennung anzuwenden, die damals nur wenige Millionen Trainingsbeispiele hatte und statistisch nicht als praktikabel galt. Sie konnten jedoch vorhersagen, welches Phonem gesprochen wurde, und plausible Äußerungen aneinanderreihen, und solche Spracherkennungssysteme werden jetzt in verschiedenen End-to-End-Systemen weit verbreitet verwendet.
  
  
• 00:10:00 In diesem Abschnitt erläutert Geoffrey Hinton, wie sie den ImageNet-Wettbewerb 2012 mit neuronalen Deep-Learning-Netzen gewannen hatte bei etwa 25 % Fehlerquote ein Plateau erreicht. Dieser Erfolg hatte große Auswirkungen, als die Menschen das Potenzial von tief lernenden neuronalen Netzen in der Bilderkennung erkannten. Hinton erklärt auch, wie rekurrente Netze verwendet werden, um mit Sequenzen wie Sprache umzugehen. Die verborgenen Neuronen verbinden sich mit sich selbst, wodurch das System Informationen sammeln und durch Backpropagation lernen kann. Diese Algorithmen wurden später für maschinelle Übersetzungen verwendet, indem ein Satz in einer Sprache in einen Gedanken codiert und dann in einen Satz in einer anderen Sprache übersetzt wurde.
  
  
• 00:15:00 In diesem Abschnitt erörtert Geoffrey Hinton das Problem mit symbolischer KI und wie die aktuelle Form des Deep Learning dieses Problem löst. Die traditionelle Sicht der symbolischen KI ging davon aus, dass die gleiche Art von Symbolen, die bei der Ein- und Ausgabe verwendet wurden, auch in der Mitte verwendet wurden, während Deep-Learning-Experten Vektoren neuronaler Aktivität verwenden, um Daten zu verarbeiten. Der Eingabetext wird in einen Vektor kodiert, der vom Netzwerk erlernte Merkmale enthält. Das Decodernetzwerk nimmt dann diesen Vektor und erzeugt den Gedanken, der dann in eine neue Sprache umgewandelt wird. Interessanterweise funktionieren solche Systeme besser, ohne zu viel Sprachwissen einfließen zu lassen. Stattdessen verwendet Google Translate ein festes Alphabet aus 32.000 Fragmenten einer Sprache und trainiert das Netzwerk mit Backpropagation, wobei es mit zufälligen Gewichtungen und Datenmengen beginnt, um die Gewichtungen stetig zu verbessern.
  
  
• 00:20:00 In diesem Abschnitt beschreibt Geoffrey Hinton einige der Verbesserungen, die an maschinellen Übersetzungssystemen vorgenommen wurden, wie z. B. das Hinzufügen von Aufmerksamkeit und die Verwendung von Wortfragmenten anstelle von ganzen Wörtern. Er diskutiert auch die Kombination von Bilderkennung und Sprachgenerierung und wie dies zu natürlichem Denken in Maschinen führen kann. Trotz des Erfolgs dieser Systeme schlägt Hinton vor, dass wir neuronale Netze mit einer Reihe von Parametern benötigen, die mit dem menschlichen Gehirn vergleichbar sind, um eine echte Verarbeitung natürlicher Sprache zu erreichen.
  
  
• 00:25:00 In diesem Abschnitt erörtert Geoffrey Hinton das Potenzial von Deep-Learning-Algorithmen, die menschliche Leistung bei der Interpretation medizinischer Bilder zu übertreffen. Er stellt fest, dass es bereits ein System zur Erkennung von Hautkrebs gibt, das so gut ist wie ein Dermatologe, und mit einer weiteren Ausbildung an mehr Bildern könnte es deutlich besser abschneiden. Hinton weist auch darauf hin, dass ein neuronales Netzwerk, das auf von Ärzten hergestellten Etiketten trainiert wird, manchmal die Ärzte selbst übertreffen kann, da das Netzwerk herausfinden kann, was los ist, wenn die Ärzte anderer Meinung sind. Schließlich erzählt er eine Geschichte über einen Studenten, der einen Wettbewerb für die Vorhersage gewonnen hat, ob sich ein Molekül an etwas binden wird, indem er ein neuronales Netzwerk mit mehreren Schichten gleichgerichteter linearer Einheiten und weitaus mehr Parametern als Trainingsfällen verwendet, und dies tat, ohne den Namen des zu kennen Forschungsbereich.

[MetaQuotes]

Helden des Deep Learning: Andrew Ng interviewt Geoffrey Hinton

Helden des Deep Learning: Andrew Ng interviewt Geoffrey Hinton

Geoffrey Hinton, eine führende Persönlichkeit im Bereich Deep Learning, sprach in einem Interview mit Andrew Ng über seinen Werdegang und seine Beiträge auf diesem Gebiet. Er spricht über die Ursprünge von Wörterinbettungen, eingeschränkte Entwicklungen von Boltzmann-Maschinen und seine jüngsten Arbeiten zu schnellen Gewichten und Kapseln. Hinton weist auf die entscheidende Rolle des unbeaufsichtigten Lernens bei Fortschritten im Deep Learning hin und rät den Lernenden, viel zu lesen, an groß angelegten Projekten zu arbeiten und Berater mit ähnlichen Interessen zu finden. Hinton ist der Ansicht, dass sich in der Computertechnik, wo Computer durch Zeigen lernen, ein bedeutender Wandel vollzieht, und warnt davor, dass die Universitäten bei der Ausbildung von Forschern für diesen neuen Ansatz mit der Industrie Schritt halten müssen.

• 00:00:00 Geoffrey Hinton spricht darüber, wie sein Interesse an KI und maschinellem Lernen geweckt wurde. In der High School machte ihn ein Freund mit der Idee des Gehirns bekannt, das Hologramme verwendet, was sein Interesse daran weckte, wie das Gehirn Erinnerungen speichert. Er studierte Physiologie und Physik an der Universität, wechselte aber zur Psychologie, als er fand, dass sie nicht ausreichte, um die Funktionsweise des Gehirns zu erklären. Nachdem er sich eine Auszeit als Tischler genommen hatte, ging er nach Edinburgh, um bei Longer Higgins, der neuronalen Netzen damals skeptisch gegenüberstand, KI zu studieren. Hinton promovierte schließlich in KI und ging nach Kalifornien, wo es als positiv angesehen wurde, darüber nachzudenken, wie das Gehirn funktioniert. Er arbeitete mit David Rumelhart am Backpropagation-Algorithmus zusammen, den sie 1986 veröffentlichten, und half letztendlich der Community, den Algorithmus zu akzeptieren.
  
  
• 00:05:00 In diesem Abschnitt erörtert Hinton die Ursprünge von Wörterinbettungen, die es Backprop ermöglichten, Repräsentationen für Wörter zu lernen, und die Tatsache, dass Stuart Sutherland davon beeindruckt war, wie das Programm durch das Trainieren eines Modells mit Worttripeln lernen konnte Merkmale der Semantik wie Nationalität, Generation und mehr. Hinton merkt an, dass die Entwicklung von Worteinbettungen zwei verschiedene Sichtweisen von Wissen kombinierte (die Sichtweise eines Psychologen von Konzepten als Bündel von Merkmalen mit der KI-Sichtweise von Konzepten als wie sie sich auf andere Konzepte beziehen), was die Akzeptanzrate des Papiers erhöhte. Bengio zeigte Anfang der 90er Jahre, dass Entwickler einen ähnlichen Ansatz verwenden können, um Worteinbettungen aus Daten abzuleiten, was viele beeindruckte. Später sprach Hinton über die Entwicklungen, die mit eingeschränkten Boltzmann-Maschinen (RBMs) gemacht wurden, die ein wesentlicher Faktor für das Wiederaufleben tiefer neuronaler Netze waren.
  
  
• 00:10:00 In diesem Abschnitt spricht Geoffrey Hinton über seine Arbeit zum Trainieren eingeschränkter Boltzmann-Maschinen mit einer Schicht verborgener Merkmale und zum Verwenden dieser erlernten Merkmale als Daten zum Trainieren einer anderen Schicht. Er erklärt, dass dieser Ansatz zur Entwicklung einer effizienten Methode zur Durchführung von Inferenzen in Sigmoid-Belief-Netzen führte, was eine erhebliche Verbesserung gegenüber früheren Methoden darstellte. Er erläutert auch seine Arbeit zu Variationsmethoden und die Entwicklung der Mathematik hinter der Verwendung gleichgerichteter linearer Einheiten (ReLU) in neuronalen Netzen. Schließlich stellt er fest, dass er 2014 bei Google einen Vortrag über die Verwendung von ReLU und die Initialisierung mit der Identitätsmatrix hielt, die Muster in der darunter liegenden Schicht kopiert, was zu erheblichen Verbesserungen beim Training tiefer neuronaler Netze führte.
  
  
• 00:15:00 Geoffrey Hinton spricht über sein Bedauern darüber, dass er die Idee, Netzwerke mit der Identität zu initialisieren, nicht weiterverfolgt hat, was ein effizientes Training tiefer neuronaler Netzwerke ermöglichen würde. Er teilt seine Gedanken über die Beziehung zwischen Backpropagation und dem Gehirn und stellt fest, dass, wenn Backpropagation ein guter Algorithmus zum Lernen ist, das Gehirn hätte herausfinden können, wie es zu implementieren ist. Er schlägt die Idee vor, schnelle Gewichte zu verwenden, die das Kurzzeitgedächtnis enthalten, um mit mehreren Zeitskalen beim Deep Learning umzugehen, die er erstmals in seiner Graduiertenschule vorgestellt hat.
  
  
• 00:20:00 In diesem Abschnitt des Interviews diskutiert Geoffrey Hinton seine neuere Arbeit zu schnellen Gewichtungen und rekursiven Aufrufen, bei denen schnelle Gewichtungen verwendet werden, um die Erinnerung an die Aktivitätszustände von Neuronen während eines rekursiven Aufrufs zu speichern. Er spricht auch über seine Idee von Kapseln, bei der es darum geht, mehrdimensionale Einheiten durch einen Vektor darzustellen und die Aktivitäten verschiedener Neuronen zu verwenden, um verschiedene Aspekte dieses Merkmals darzustellen. Die Neuronen sind in kleine Bündel gruppiert, die unterschiedliche Koordinaten des Merkmals oder einer Teilmenge von Kapseln darstellen, die jeweils in der Lage sind, eine Instanz eines Merkmals mit vielen verschiedenen Eigenschaften darzustellen, anstatt einer skalaren Eigenschaft, wie in herkömmlichen neuronalen Netzen. Diese Kapseln können dann Informationen über ein vereinbartes Routing-System weiterleiten, was eine bessere Filterung und Verallgemeinerung neuronaler Netze aus begrenzten Daten ermöglicht. Trotz Ablehnungen von Papieren zu dieser Idee bleibt Hinton optimistisch und hartnäckig bei der Verfolgung von Kapseln.
  
  
• 00:25:00 Geoffrey Hinton erläutert, wie sich sein Denken über KI und Deep Learning über mehrere Jahrzehnte entwickelt hat. Er erzählt, wie er sich zunächst für Back-Propagation und diskriminatives Lernen interessierte und seinen Fokus dann Anfang der 90er Jahre auf unüberwachtes Lernen verlagerte. Hinton spricht auch darüber, wie unglaublich gut überwachtes Lernen in den letzten zehn Jahren funktioniert hat, aber er glaubt immer noch, dass unüberwachtes Lernen für weitere Fortschritte entscheidend sein wird. Als vielversprechende Ideen für unüberwachtes Lernen nennt er Variational Auto-Encoder und Generative Adversarial Networks. Hinton berät auch Menschen, die in das Deep Learning einsteigen möchten, und empfiehlt ihnen, so viel wie möglich zu lesen und zu versuchen, an einem groß angelegten Projekt zu arbeiten, um Erfahrungen zu sammeln.
  
  
• 00:30:00 In diesem Abschnitt dreht sich das Gespräch um Ratschläge für Forscher und Lernende im Bereich KI und Deep Learning. Hinton schlägt vor, dass kreative Forscher ein wenig Literatur lesen und nach etwas suchen sollten, das alle falsch machen, und dann herausfinden, wie man es richtig macht. Er rät auch, niemals mit dem Programmieren aufzuhören und auf seine Intuition zu vertrauen. Er ermutigt Studenten, einen Berater zu finden, der ähnliche Überzeugungen und Interessen wie sie selbst hat, um den nützlichsten Rat zu erhalten. In Bezug auf die Frage, ob man einem PhD-Programm oder einer Spitzenforschungsgruppe in einem Unternehmen beitreten soll, stellt Hinton fest, dass es derzeit einen Mangel an Akademikern gibt, die in Deep Learning ausgebildet sind, aber er glaubt, dass dies nur vorübergehend sein wird, wenn die Abteilungen mit der sich verändernden Landschaft Schritt halten das Feld.
  
  
• 00:35:00 Geoffrey Hinton erklärt, dass es bei der Nutzung von Computern zu einer bedeutenden Veränderung kommt, wo wir sie jetzt zeigen, anstatt sie zu programmieren, und sie es herausfinden. Dieser neue Ansatz für die Datenverarbeitung ist anders und bedeutsam, und die Informatikabteilungen müssen den Ansatz anerkennen und begrüßen, der zeigt, dass er einen ebenso großen Einfluss auf die Informatik hat wie die Programmierung. Obwohl große Unternehmen jetzt Leute in diesem neuen Ansatz schulen, glaubt Hinton, dass es nicht lange dauern wird, bis die Universitäten aufholen. Hinton erklärt den Paradigmenwechsel in der KI von der Überzeugung, dass die für die Intelligenz erforderlichen Repräsentationen symbolische Ausdrücke einer aufgeräumten Logik waren, hin zu der aktuellen Ansicht, dass Gedanken nur große Vektoren neuronaler Aktivität sind.

[MetaQuotes]

Helden des Deep Learning: Andrew Ng interviewt Yann LeCun

Helden des Deep Learning: Andrew Ng interviewt Yann LeCun

In diesem Interview zwischen Andrew Ng und Yann LeCun spricht LeCun über sein frühes Interesse an KI und der Entdeckung neuronaler Netze. Er beschreibt auch seine Arbeit an Convolutional Neural Networks und die Geschichte hinter CNNs. LeCun spricht darüber, wie er trotz des mangelnden Interesses an neuronalen Netzen Mitte der 90er Jahre auf diesem Gebiet bestand und schließlich seine Arbeit an CNNs den Bereich des Computersehens übernahm. Er spricht auch über den entscheidenden Moment in der Computervision, als das AlexNet-Team 2012 den ImageNet-Wettbewerb gewann, und rät denjenigen, die eine Karriere in KI und maschinellem Lernen anstreben, sich nützlich zu machen, indem sie zu Open-Source-Projekten beitragen oder Algorithmen implementieren.

• 00:00:00 In diesem Abschnitt spricht Yann LeCun über sein frühes Interesse an künstlicher Intelligenz und wie er auf das Konzept der neuronalen Netze gestoßen ist. Er beschreibt, wie er Forschungsarbeiten zu Perzeptron- und Automatennetzwerken entdeckte, die ihn dazu inspirierten, zu erforschen, wie man neuronale Netze mit mehreren Schichten trainiert. Dies führte ihn dazu, Menschen in einem unabhängigen Labor in Frankreich zu treffen, die sich für dasselbe interessierten, und schließlich zu seiner Arbeit mit Boltzmann-Maschinen.
  
  
• 00:05:00 In diesem Abschnitt spricht LeCun darüber, wie er Terry Zaleski kennengelernt hat, der zu dieser Zeit an Backpropagation arbeitete, und wie sie beide es vor dem Treffen unabhängig voneinander erfunden haben. Er erwähnt auch, wie er während seiner Zeit bei AT&T Bell Labs mit der Arbeit an Faltungsnetzen begann und wie er sie an einem kleinen Datensatz testete, den er durch Zeichnen von Zeichen mit seiner Maus erstellte, und wie dies zur Erstellung des USPS-Datensatzes mit 5.000 Training führte Proben. Er trainierte ein Faltungsnetz auf diesem Datensatz und erzielte bessere Ergebnisse als andere damals verwendete Methoden.
  
  
• 00:10:00 In diesem Abschnitt des Interviews diskutiert Yann LeCun die Geschichte der Convolutional Neural Networks oder CNNs. Er spricht über die erste Version des kommerziellen Netzes, die sie bei Bell Labs entwickelt haben und die keine separaten Subsampling- und Pooling-Schichten hatte, und wie sie das Netzwerk erheblich verbessern mussten, um die Rechenzeit zu reduzieren. LeCun erzählt auch eine interessante Geschichte über einen Vortrag über CNNs, in dem Geoff Hinton ihm sagte, dass „es tatsächlich funktioniert, wenn man all die vernünftigen Dinge tut“. Trotz der vielversprechenden Ergebnisse wurden CNNs außerhalb von AT&T jedoch nicht weit verbreitet, da es an Internet, standardisierter Software und Hardwareplattformen mangelt.
  
  
• 00:15:00 In diesem Abschnitt erläutert Yann LeCun seine Arbeit zur Zeichenerkennung und wie sie ihn dazu veranlasste, das Projekt „Digital Djvu“ zu starten, um gescannte Dokumente für die gemeinsame Nutzung im Internet digital zu speichern und zu komprimieren. Er spricht auch darüber, wie er immer daran geglaubt hat, dass Deep-Learning-Techniken irgendwann nützlich werden würden, insbesondere mit der wachsenden Leistung von Computern, aber aufgrund des mangelnden Interesses Mitte der 90er Jahre gab es etwa 7 Jahre, in denen niemand an neuronalen Netzen forschte . Trotz dieses Rückschlags beharrte LeCun weiterhin auf diesem Gebiet, und seine Arbeit an Convolutional Neural Networks übernahm das Gebiet des Computersehens und begann, erheblich in andere Bereiche einzudringen.
  
  
• 00:20:00 In diesem Abschnitt des Videos beschreibt Yann LeCun den entscheidenden Moment in der Computer-Vision-Community, als das AlexNet-Team den ImageNet-Wettbewerb 2012 mit großem Vorsprung gewann, was den Großteil der Community überraschte. LeCun geht weiter auf seine einzigartige Sichtweise darauf ein, wie Unternehmensforschung betrieben werden sollte, und erklärt, dass ihm viel Freiheit eingeräumt wurde, Facebook AI Research (FAIR) so einzurichten, wie er es für am angemessensten hielt, mit Schwerpunkt auf offener Forschung und Zusammenarbeit mit Hochschulen. Er erwähnt sogar, dass die überwiegende Mehrheit seiner Veröffentlichungen in den letzten vier Jahren von seinen Studenten an der NYU stammten.
  
  
• 00:25:00 In diesem Abschnitt rät Yann LeCun denjenigen, die eine Karriere in den Bereichen KI und maschinelles Lernen anstreben, sich nützlich zu machen, indem sie zu einem Open-Source-Projekt beitragen oder einen Algorithmus implementieren und ihn anderen zur Verfügung stellen. Er glaubt, dass die jetzt verfügbaren Tools und Ressourcen es Menschen leicht machen, sich auf einer bestimmten Ebene zu engagieren, selbst für Schüler der Oberstufe. Durch interessante und nützliche Beiträge können Einzelpersonen wahrgenommen werden und möglicherweise einen Job bei einem gewünschten Unternehmen finden oder in ein Ph.D-Programm aufgenommen werden.

[MetaQuotes]

Helden des Deep Learning: Andrew Ng interviewt Ian Goodfellow

Helden des Deep Learning: Andrew Ng interviewt Ian Goodfellow

In einem Interview mit Andrew Ng spricht Ian Goodfellow über seine Leidenschaft für Deep Learning und wie er sich während seines Studiums in Stanford für dieses Gebiet interessierte. Goodfellow diskutiert seine Erfindung von Generative Adversarial Networks (GANs) und ihr Potenzial für Deep Learning und betont gleichzeitig die Notwendigkeit, GANs zuverlässiger zu machen. Er reflektiert, wie sich sein Denken über KI und Deep Learning im Laufe der Jahre entwickelt hat, von der einfachen Bereitstellung der Technologie für KI-bezogene Aufgaben bis hin zur Erforschung des vollen Potenzials von Deep-Learning-Modellen. Goodfellow gibt auch Ratschläge für diejenigen, die sich mit KI beschäftigen möchten, und erklärt, dass es von entscheidender Bedeutung ist, guten Code zu schreiben und von Anfang an Sicherheit in maschinelle Lernalgorithmen zu integrieren.

• 00:00:00 In diesem Abschnitt erläutert Ian Goodfellow, wie sein Interesse am Bereich KI und Deep Learning dank seines Bachelor-Beraters in Stanford und der Internet-KI-Klasse von Andrew Ng geweckt wurde. Er erklärt, wie er und ein Freund in Stanford eine der ersten GPU-CUDA-basierten Maschinen bauten und wie dies zu seiner starken Intuition führte, dass Deep Learning der Weg der Zukunft ist. Goodfellow spricht weiter über seine Erfindung von GANs und wie er beim Studium generativer Modelle auf das Konzept kam. Abschließend reflektiert er eine persönliche Erfahrung, die sein Engagement für die KI-Forschung bekräftigt hat.
  
  
• 00:05:00 In diesem Abschnitt diskutiert Ian Goodfellow das Potenzial von Generative Adversarial Networks (GANs) und ihre Zukunft im Deep Learning. Er erklärt, dass GANs zwar derzeit für eine Vielzahl von Aufgaben eingesetzt werden, aber oft unzuverlässig sind und ihre Stabilisierung ein Hauptaugenmerk seiner Forschung ist. Goodfellow glaubt, dass GANs zwar jetzt wichtig sind, aber irgendwann durch andere Formen generativer Modelle ersetzt werden, wenn sie nicht zuverlässiger gemacht werden. Er spricht auch über seine Erfahrungen als Co-Autor des ersten Lehrbuchs über Deep Learning und betont, wie wichtig es ist, die zugrunde liegenden mathematischen Prinzipien zu verstehen, um das Gebiet zu meistern. Abschließend reflektiert Goodfellow, wie sich sein Denken über KI und Deep Learning im Laufe der Jahre entwickelt hat, von der einfachen Bereitstellung der Technologie für KI-bezogene Aufgaben bis hin zur Erforschung des vollen Potenzials von Deep-Learning-Modellen.
  
  
• 00:10:00 In diesem Abschnitt diskutiert Ian Goodfellow die Entwicklung von Deep Learning und die Fülle von Pfaden, die es in der KI gibt. Er gibt Ratschläge für diejenigen, die sich mit KI beschäftigen möchten, und erklärt, dass das Schreiben von gutem Code und das Einstellen auf GitHub Aufmerksamkeit erregen kann und dass die Arbeit an einem Projekt neben dem Lesen von Büchern hilfreich sein könnte. Er spricht auch darüber, wie wichtig es ist, Sicherheit von Anfang an in maschinelle Lernalgorithmen einzubauen, anstatt sie später hinzuzufügen. Diese Maßnahmen würden die Sicherheit der Algorithmen gewährleisten und spätere Sicherheitsbedenken vermeiden.

[MetaQuotes]

Helden des Deep Learning: Andrew Ng interviewt Andrej Karpathy

Helden des Deep Learning: Andrew Ng interviewt Andrej Karpathy

In einem Interview mit Andrew Ng spricht Andrej Karpathy über seine Einführung in Deep Learning durch einen Kurs mit Geoff Hinton und wie er zum menschlichen Maßstab für den ImageNet-Bildklassifizierungswettbewerb wurde. Er spricht über die überraschenden Ergebnisse, als Software Deep Nets seine Leistung übertraf und beschloss, andere darüber durch die Erstellung eines Online-Kurses zu unterrichten. Karpathy diskutiert auch die Zukunft der KI und wie sich das Feld wahrscheinlich in zwei Richtungen aufteilen wird: angewandte KI und AGI. Er rät denjenigen, die in das Gebiet des Deep Learning einsteigen möchten, ein vollständiges Verständnis des gesamten Stacks aufzubauen, indem sie alles von Grund auf neu implementieren.

• 00:00:00 In diesem Abschnitt spricht Andrej Karpathy darüber, wie sein Interesse für Deep Learning während seines Grundstudiums an der University of Toronto geweckt wurde, als er einen Kurs bei Geoff Hinton belegte. Er erläutert auch, wie er zum menschlichen Maßstab für den ImageNet-Bildklassifizierungswettbewerb wurde und eine Javascript-Schnittstelle erstellte, um zu verstehen, wie der Maßstab im Vergleich zu menschlichen Fähigkeiten abschneidet. Er beschreibt die Herausforderung, Bilder aus tausend Kategorien zu kategorisieren, und die überraschende Erkenntnis, dass ein Drittel des ImageNet-Datensatzes Hunde waren, was dazu führte, dass ungewöhnlich viel Zeit für das Training von Hundearten aufgewendet wurde.
  
  
• 00:05:00 In diesem Abschnitt spricht Andrej Karpathy darüber, wie er überrascht war, als Software Deep Nets seine Leistung bei bestimmten Aufgaben übertraf. Er diskutiert, wie die Technologie transformativ war, und beschloss, andere darüber durch die Erstellung eines Online-Kurses zu unterrichten. Die Fähigkeit, die Technologie zu verstehen und dass sie sich täglich ändert, hat die Studenten begeistert. Karpathy spricht auch darüber, wie sich das Gebiet des Deep Learning rasant entwickelt und wie allgemein die Technologie geworden ist. Er ist überrascht, wie gut es nicht nur für ImageNet funktioniert, sondern auch für die Feinabstimmung und das Transferlernen. Er ist auch überrascht, wie unüberwachtes Lernen immer noch nicht das Versprechen eingelöst hat, das sich viele Forscher erhofft hatten.
  
  
• 00:10:00 In diesem Abschnitt diskutiert Karpathy die Zukunft der KI und erklärt, dass sich das Feld wahrscheinlich in zwei Richtungen aufteilen wird. Die erste ist angewandte KI, bei der neuronale Netze für überwachtes und möglicherweise unüberwachtes Lernen verwendet werden, und die andere ist AGI, die sich auf die Erstellung eines einzelnen neuronalen Netzes konzentriert, das ein vollständiges dynamisches System darstellt. Er hält es für falsch, KI in verschiedene Teile zu zerlegen und sie dann zusammenzusetzen, und plädiert stattdessen dafür, ein einzelnes neuronales Netzwerk als ganzen Agenten zu verwenden, um Ziele zu schaffen, die Gewichtungen optimieren und intelligentes Verhalten erzielen können. Auf die Frage nach Ratschlägen für diejenigen, die in das Gebiet des Deep Learning einsteigen möchten, ermutigt Karpathy, ein umfassendes Verständnis des gesamten Stacks aufzubauen, indem alles von Grund auf neu implementiert wird, anstatt nur mit einem Framework wie TensorFlow zu arbeiten.
  

[MetaQuotes]

Heroes of Deep Learning: Andrew Ng interviewt Ruslan Salakhutdinov, Director of AI Research bei Apple

Heroes of Deep Learning: Andrew Ng interviewt Ruslan Salakhutdinov, Director of AI Research bei Apple

Ruslan Salakhutdinov, Director of AI Research bei Apple, spricht über die Entwicklung von Deep Learning, die Herausforderungen beim Training generativer Modelle und unüberwachtes Lernen sowie die spannenden Grenzen der Deep-Learning-Forschung. Er ermutigt die Forscher auch, verschiedene Methoden zu erforschen und keine Angst vor Innovationen zu haben.
Salakhutdinov betont die Bedeutung des Aufbaus dialogbasierter Systeme und Systeme, die Text intelligent lesen können, sowie das ultimative Ziel, menschenähnlichere Lernfähigkeiten zu erreichen.

• 00:00:00 In diesem Abschnitt erläutert Ruslan Salakhutdinov, wie er mit Deep Learning begann, beginnend mit einem zufälligen Treffen mit Jeff Hinton, der ihm das Konzept der Verwendung von restriktiven Boltzmann-Maschinen und überwachtem Training vorstellte. Mit Hintons Hilfe und Anleitung war Salakhutdinov in der Lage, eines der allerersten Papiere über eingeschränkte Boltzmann-Maschinen mitzuverfassen, was dazu beitrug, das Wiederaufleben von neuronalen Netzwerken und Deep Learning anzukurbeln. Als sich die Rechenleistung verbesserte, erkannten die Forscher jedoch, dass kein Vortraining mit restriktiven Boltzmann-Maschinen erforderlich war, und konnten tiefe Modelle direkt mit herkömmlichen Optimierungstechniken trainieren.
  
  
• 00:05:00 In diesem Abschnitt erörtert Ruslan Salakhutdinov die Entwicklung des Deep Learning und die Bedeutung des Vortrainings in den frühen Tagen, als Computer noch langsamer waren. Er erwähnt auch die Herausforderung, generative Modelle und unüberwachtes Lernen im Vergleich zu überwachtem Lernen zu trainieren. Während es Fortschritte bei der generativen Modellierung mit Techniken wie Variations-Autoencodern und Energiemodellen wie denen in seinem eigenen Labor gegeben hat, glaubt er, dass effizientere und skalierbarere Methoden zum Trainieren von nicht überwachten Modellen gefunden werden müssen. Er betont, dass dies ein wichtiger Bereich für diejenigen ist, die sich für Deep Learning interessieren.
  
  
• 00:10:00 In diesem Abschnitt erörtert Ruslan Salakhutdinov, Director of AI Research bei Apple, die Herausforderungen bei der Nutzung einer großen Menge nicht gekennzeichneter Daten beim maschinellen Lernen sowie Ratschläge für diejenigen, die in das Feld einsteigen möchten. Er ermutigt Forscher, verschiedene Methoden auszuprobieren und keine Angst vor Innovationen zu haben, und nennt ein Beispiel dafür, wie er und sein Team das schwierige Problem der Optimierung hochgradig nicht-konvexer Systeme in neuronalen Netzen angegangen sind. Salakhutdinov erörtert auch die Vor- und Nachteile einer Promotion gegenüber dem Eintritt in ein Unternehmen im Bereich Deep Learning und betont, dass sowohl die Wissenschaft als auch die Industrie spannende Möglichkeiten für Forschung und Entwicklung bieten.
  
  
• 00:15:00 In diesem Abschnitt erörtert Ruslan Salakhutdinov die aufregenden Grenzen der Deep-Learning-Forschung, insbesondere in Bereichen wie Deep Reinforcement Learning, Argumentation und natürliches Sprachverständnis und die Fähigkeit, aus weniger Beispielen zu lernen. Er stellt fest, dass beim Training von KI in virtuellen Welten große Fortschritte gemacht wurden und die Herausforderung nun darin besteht, diese Systeme zu skalieren, neue Algorithmen zu entwickeln und KI-Agenten dazu zu bringen, miteinander zu kommunizieren. Darüber hinaus betont er die Bedeutung des Aufbaus dialogbasierter Systeme und solcher, die Text intelligent lesen können. Abschließend nennt er das Ziel, menschenähnlichere Lernfähigkeiten zu erreichen.

[MetaQuotes]

Helden des Deep Learning: Andrew Ng interviewt Yoshua Bengio

Helden des Deep Learning: Andrew Ng interviewt Yoshua Bengio

Andrew Ng interviewt Yoshua Bengio und sie diskutieren verschiedene Themen im Zusammenhang mit Deep Learning. Bengio drückt aus, wie er zum Deep Learning gekommen ist und wie sich sein Denken über neuronale Netze entwickelt hat. Er diskutiert auch seine Beiträge zur Entwicklung von Wörterinbettungen für Wortfolgen und Deep Learning mit Stapeln von Autoencodern. Darüber hinaus betont Bengio die Bedeutung des unüberwachten Lernens und sein Interesse am Verständnis der Beziehung zwischen Deep Learning und dem Gehirn.
Bengio betont die Notwendigkeit, die Wissenschaft des Deep Learning zu verstehen und richtig zu forschen, um große Herausforderungen anzugehen. Schließlich konzentrieren sie sich auf die Notwendigkeit solider mathematischer Grundkenntnisse für eine Karriere im Bereich Deep Learning und die Bedeutung kontinuierlicher Weiterbildung.

• 00:00:00 In diesem Abschnitt erläutert Yoshua Bengio, wie er zum Deep Learning kam, beginnend mit seiner Liebe zur Science-Fiction und seinem Studium im Jahr 1985. Er spricht über seine Begeisterung, als er die Welt des Denkens über menschliche Intelligenz entdeckte und wie es könnte sich mit künstlicher Intelligenz verbinden. Bengio reflektiert auch, wie sich sein Denken über neuronale Netze entwickelt hat, von anfänglichen Experimenten bis hin zur Entwicklung von Theorien und soliden Begründungen dafür, warum bestimmte Techniken wie Backprop und Tiefe so gut funktionieren. Außerdem spricht er über seine Überraschung, dass die ReLU-Funktion besser funktioniert als die traditionellen glatten Nichtlinearitäten, die er ursprünglich für notwendig hielt. Bengio betont die Bedeutung verteilter Informationen über die Aktivierung vieler Neuronen und wie sie mit den ersten Erkenntnissen zusammenhängen, die ihn für neuronale Netze begeisterten.
  
  
• 00:05:00 In diesem Abschnitt diskutiert Yoshua Bengio seine frühen Arbeiten zur Verwendung neuronaler Netze, um den Fluch der Dimensionalität zu bekämpfen und effiziente gemeinsame Verteilungen über viele Zufallsvariablen zu erstellen. Er erwähnt auch seine Arbeit zur Erstellung von Wörterinbettungen für Wortfolgen, die eine Verallgemeinerung über Wörter mit ähnlichen semantischen Bedeutungen ermöglichen. Bengio erwähnt mehrere andere wichtige Erfindungen oder Ideen seiner Forschungsgruppe, darunter die Entwicklung von Deep Learning mit Stapeln von Autoencodern und die Verwendung von Aufmerksamkeit bei der neuronalen maschinellen Übersetzung. Er spricht auch über sein Interesse am Verständnis der Beziehung zwischen Deep Learning und dem Gehirn und seine Arbeit an der Entwicklung eines Systems ähnlich der Backpropagation, das vom Gehirn implementiert werden könnte.
  
  
• 00:10:00 In diesem Abschnitt spricht Yoshua Bengio über seine Inspiration durch Geoff Hintons Gedanken über die Funktionsweise des Gehirns und den potenziellen Nutzen des temporalen Codes dafür. Er diskutiert, wie wichtig unüberwachtes Lernen ist, da es die Konstruktion mentaler Modelle ermöglicht, die die Welt ohne gekennzeichnete Daten erklären. Er spricht auch über seine Kombination aus unbeaufsichtigtem Lernen und bestärkendem Lernen, um ein besseres Verständnis der zugrunde liegenden Konzepte zu erlangen, die durch das Erforschen und den Versuch, Dinge zu kontrollieren, voneinander getrennt werden. Das Problem bei der Forschung zum unüberwachten Lernen besteht darin, dass es so viele verschiedene Möglichkeiten gibt, dieses Problem anzugehen, und es gibt keine gute Definition dafür, was eine gute objektive Funktion ausmacht, um zu messen, ob ein System gut funktioniert oder nicht. Schließlich bringt Yoshua zum Ausdruck, dass der aktuelle Stand des Deep Learning noch weit von dem entfernt ist, wo er es gerne hätte, und er fühlt sich ehrgeizig, es auf die nächste Stufe zu heben.
  
  
• 00:15:00 In diesem Abschnitt spricht Yoshua Bengio über seine Begeisterung für die Forschung, die sich auf grundlegende Prinzipien konzentriert, wie Computer die Welt beobachten und mit ihr interagieren können, um herauszufinden, wie sie funktioniert. Er erörtert, wie diese Forschung zu einem besseren Verständnis der Funktionsweise der Welt führen wird, und hofft, dass sie dabei helfen wird, große Herausforderungen wie Transferlernen und gemeinsame nationale Probleme anzugehen. Bengio merkt an, dass das Experimentieren an kleineren Problemen zu schnelleren Forschungszyklen und einem besseren Verständnis führen kann, das schließlich vergrößert werden kann. Er betont, wie wichtig es ist, zu verstehen, was beim Deep Learning vor sich geht, und wie wichtig es ist, Gedanken über die Wissenschaft des Deep Learning auszutauschen.
  
  
• 00:20:00 In diesem Abschnitt erörterte Yoshua Bengio, eine renommierte Persönlichkeit im Bereich Deep Learning, die Bedeutung des Verständnisses der interessierenden Phänomene und der Durchführung angemessener Forschung, anstatt nur danach zu streben, Benchmarks oder Konkurrenten zu schlagen. Für Personen, die in das Feld einsteigen möchten, betonte er die Notwendigkeit von Übung, einschließlich Lesen, Codieren und Experimentieren. Bengio erklärte, dass ein starker Hintergrund in Informatik und Mathematik zwar hilfreich ist, Personen ohne Vorkenntnisse im maschinellen Lernen jedoch innerhalb weniger Monate lernen und kompetent werden können.
  
  
• 00:25:00 In diesem Auszug diskutieren Andrew Ng und Yoshua Bengio, wie wichtig es ist, über solide mathematische Grundkenntnisse wie Algebra, Optimierung und Analysis zu verfügen, wenn man eine Karriere im Bereich Deep Learning anstrebt. Bengio betont die Notwendigkeit der ständigen Weiterbildung und des ständigen Lernens, um auf dem Gebiet auf dem Laufenden zu bleiben. Beide drücken ihre Dankbarkeit für die Gelegenheit aus, ihre Einsichten und ihr Wissen mit anderen zu teilen.

[MetaQuotes]

Helden des Deep Learning: Andrew Ng interviewt Pieter Abbeel

Helden des Deep Learning: Andrew Ng interviewt Pieter Abbeel

Pieter Abbeel diskutiert in diesem Interview mit Andrew Ng die Herausforderungen und Potenziale von Deep Reinforcement Learning. Er stellt fest, dass weitere Arbeiten zur Erforschung, Kreditvergabe und Generierung negativer Beispiele erforderlich sind. Abbeel hebt auch Sicherheitsbedenken und die Bedeutung des Sammelns sicherer Lerndaten hervor, wenn Robotern beigebracht wird, autonom zu leben. Er rät Einzelpersonen, praktische Übungen mit gängigen Frameworks durchzuführen, und schlägt die Vorteile einer Mentorenschaft durch erfahrene Fachleute vor. Darüber hinaus schlägt er die Notwendigkeit von Reinforcement Learning vor, um Maschinen Leistungsziele zu geben, und weist auf die Bedeutung des Klonens von Verhaltensweisen und des überwachten Lernens hin, bevor die Komponente des Reinforcement Learning hinzugefügt wird.

• 00:00:00 In diesem Abschnitt spricht Pieter Abbeel darüber, wie er sich aufgrund seiner Interessen in Mathematik und Physik anfänglich für Ingenieurwissenschaften interessierte und wie ihn dies schließlich zu maschinellem Lernen und Deep Reinforcement Learning führte. Er spricht über die Herausforderungen, die beim Deep Reinforcement Learning immer noch bestehen, wie Exploration und Kreditvergabe, und wie es immer noch notwendig ist, negative Beispiele zu generieren, um diese Systeme zu verbessern. Er stellt auch fest, dass die Erfolge des Deep Reinforcement Learning hauptsächlich in kurzen Zeithorizonten zu verzeichnen waren und dass auf diesem Gebiet noch viel zu tun ist, um Systeme in die Lage zu versetzen, über längere Zeiträume zu argumentieren.
  
  
• 00:05:00 In diesem Abschnitt des Interviews erörtert Pieter Abbeel die Herausforderungen, einem Roboter oder Softwareagenten beizubringen, ein autonomes Leben zu führen, und weist darauf hin, dass die Sicherheit eine Reihe von Problemen aufwirft, einschließlich der Erfassung sicherer Lerndaten. Er teilt auch seine Begeisterung für die aktive Erforschung und Verstärkung von Lernalgorithmen, um effizientere Mechanismen zu entwickeln, die menschliches Design in Zukunft ersetzen können. Abschließend berät er diejenigen, die eine Karriere in der künstlichen Intelligenz anstreben, betont, dass das Feld enorme Beschäftigungsmöglichkeiten bietet, und schlägt Online-Lernmaterial wie die Deep-Learning-Kurse von Andrew Ng und Berkeley für den Einstieg vor.
  
  
• 00:10:00 In diesem Abschnitt erläutert Pieter Abbeel, wie man mit dem Erlernen von Deep Learning und maschinellem Lernen beginnt, und betont die Bedeutung von praktischer Übung und Experimentieren mit beliebten Frameworks wie TensorFlow und PyTorch. Er erörtert auch die Vor- und Nachteile einer Promotion im Vergleich zu einem Job in einem großen Unternehmen und hebt die Vorteile der Betreuung durch erfahrene Fachleute hervor. Abbeel fährt dann fort und beschreibt einige der Erfolge des Deep Reinforcement Learning, wie zum Beispiel einen Roboter, der das Laufen lernt oder klassische Atari-Spiele von Grund auf neu spielt, merkt aber an, dass der nächste Schritt darin besteht, herauszufinden, wie man dieses erlernte Wissen für zukünftige Aufgaben wiederverwenden kann. Er prognostiziert auch, dass viele Unternehmen in naher Zukunft auf überwachtes Lernen mit menschlicher Unterstützung setzen werden.
  
  
• 00:15:00 In diesem Abschnitt schlägt Pieter Abbeel die Verwendung von Reinforcement Learning vor, um Maschinen Leistungsziele zu geben, anstatt nur menschliche Handlungen abzugleichen. Die Maschine wird mit Verhaltensklonen oder überwachtem Lernen trainiert, bevor die Verstärkungslernkomponente hinzugefügt wird. Dieser Ansatz ist zeitaufwändig, aber effektiv bei der Entwicklung von Maschinen, die gesetzte Ziele erreichen können. Reinforcement Learning allein kann gefährlich und zeitaufwändig sein.

[MetaQuotes]

Helden des Deep Learning: Andrew Ng interviewt den Leiter von Baidu Research, Yuanqing Lin

Helden des Deep Learning: Andrew Ng interviewt den Leiter von Baidu Research, Yuanqing Lin

Yuanqing Lin, Head of Baidu Research und Head of China’s National Lab on Deep Learning, spricht über die Gründung des nationalen Labors und seine Auswirkungen auf die Deep-Learning-Community. Lin gibt Einblicke in Chinas Investitionen in Deep Learning und wie diese zu Wachstum in verschiedenen Sektoren geführt haben. Er betont die Bedeutung von Rückkopplungsschleifen in der KI-Entwicklung und wie dies dazu beiträgt, bessere Algorithmen und Technologien zu entwickeln. Lin rät Einzelpersonen, eine starke Grundlage für maschinelles Lernen zu schaffen und mit einem Open-Source-Framework zu beginnen, um erfolgreich in das Feld einzusteigen.

• 00:00:00 In diesem Abschnitt spricht Yuanqing Lin, Leiter von Baidu Research und Leiter von Chinas National Lab on Deep Learning, über seine persönliche Geschichte und wie er zum maschinellen Lernen kam. Lin teilt mit, dass er sein Studiengebiet für sein PhD-Programm an der UPenn von der Physik zum maschinellen Lernen verlagert hat, was er als eine sehr aufregende Erfahrung empfand, bei der er jeden Tag neue Dinge lernte. Schließlich arbeitete er an einem erfolgreichen Projekt für die ImageNet Challenge, das ihn mit umfangreichen Computer-Vision-Aufgaben konfrontierte und ihn dazu inspirierte, an Deep Learning zu arbeiten. Als Leiter des chinesischen Nationallabors ist es Lins Ziel, die größte Deep-Learning-Plattform des Landes aufzubauen und Forschern und Entwicklern Ressourcen anzubieten, um bestehende Technologien zu verbessern und neue für große Anwendungen zu entwickeln.
  
  
• 00:05:00 In diesem Abschnitt spricht Yuanqing Lin, der Leiter von Baidu Research, über das neue nationale KI-Labor und die Auswirkungen, die es auf die Deep-Learning-Community haben wird. Er hebt hervor, wie das Labor eine Rechenstruktur für die Ausführung von Deep-Learning-Modellen bereitstellen wird, was die Reproduktion von Forschungsergebnissen erheblich erleichtern wird. Er erörtert auch Chinas Investitionen in Deep Learning und wie diese zu Wachstum in einer Vielzahl von Sektoren wie E-Commerce, Überwachung und mehr geführt haben. Lin betont die Bedeutung von Rückkopplungsschleifen in der KI-Entwicklung und wie dies dazu beiträgt, bessere Algorithmen und Technologien zu entwickeln. Insgesamt glaubt er, dass die Deep-Learning-Community stark von den Ressourcen und dem Fachwissen des Labors profitieren wird.
  
  
• 00:10:00 In diesem Abschnitt betont Yuanqing Lin, Leiter von Baidu Research, wie wichtig es ist, eine starke Vision und Richtung zu haben, damit das Unternehmen im Bereich Deep Learning und KI erfolgreich ist. Er rät Einsteigern, mit einem Open-Source-Framework zu beginnen und sich mit Benchmarking-Ressourcen vertraut zu machen. Lin empfiehlt, dass Einzelpersonen eine solide Grundlage für maschinelles Lernen schaffen, um die Funktionsweise von Deep Learning vollständig zu verstehen.

[MetaQuotes]

Helden des Deep Learning: Dawn Song über KI, Deep Learning und Sicherheit

Helden des Deep Learning: Dawn Song über KI, Deep Learning und Sicherheit

Dawn Song, eine Expertin für Deep Learning und Computersicherheit, sprach in einem Interview über ihren Karriereweg und ihre Arbeit in den Bereichen KI, Deep Learning und Sicherheit. Song betonte, wie wichtig es sei, Schlüsselprobleme oder -fragen zu identifizieren, um beim ersten Einstieg in das Feld die Lektüre zu leiten, und eine starke Grundlage für die Repräsentation zu entwickeln, um die Forschung in anderen Bereichen zu erleichtern. Sie betonte auch die wachsende Bedeutung des Aufbaus widerstandsfähiger KI- und maschineller Lernsysteme und ihre Arbeit bei der Entwicklung von Verteidigungsmechanismen gegen Black-Box-Angriffe. Song teilte ihre Arbeit zu Datenschutz und Sicherheit, einschließlich der Schulung differentiell privater Sprachmodelle und der Entwicklung einer datenschutzorientierten Cloud-Computing-Plattform auf Blockchain bei Oasis Labs. Schließlich riet Song Menschen, die in neue Bereiche vordringen, mutig zu sein und keine Angst davor zu haben, bei Null anzufangen.

• 00:00:00 In diesem Abschnitt spricht die Interviewerin mit Dawn Song, einer Expertin für Deep Learning und Computersicherheit. Songs Karriereweg war nicht geradlinig, er begann mit einem Physik-Studium und wechselte zur Informatik mit Schwerpunkt Computersicherheit. Song entschied sich für Deep Learning und KI, da sie es aufregend und faszinierend fand. Song verbrachte vier Tage in der Woche mit dem Lesen von Artikeln und Büchern über Deep Learning und betrachtete dies als eine ihrer glücklichsten Zeiten. Sie entwarf ein Leseprogramm für sich selbst, um mehr über das Gebiet zu erfahren.
  
  
• 00:05:00 In diesem Abschnitt erläutert der Referent, wie er eine Strategie entwickelt hat, um beim ersten Einstieg in das Feld in die umfangreiche Literatur zu Deep Learning und KI einzutauchen. Er betont, wie wichtig es ist, Schlüsselprobleme oder Fragen zu identifizieren, um sich beim Lesen zu leiten, sowie die Meinungen anderer in diesem Bereich einzuholen und Blogbeiträge, Artikel und Referenzen zu triangulieren, um eine Top-Leseliste zu erstellen. Eine der Kernfragen, die der Referent schon früh untersuchen wollte, war, wie man großartige Repräsentationen konstruiert, was seiner Meinung nach immer noch eine weit offene Frage auf dem Gebiet ist. Er betont die Bedeutung der Entwicklung einer starken Grundlage in diesem Bereich, um die Forschung in anderen Bereichen zu erleichtern.
  
  
• 00:10:00 In diesem Abschnitt erörtert der Redner, wie wichtig die Repräsentation der Welt ist, um sie zu navigieren und zu verstehen, und die Idee, dass menschliche Gehirne die Welt durch Muster neuronaler Feuerungen darstellen, die durch Vektoren reeller Zahlen angenähert werden können tiefes Lernen. Der tatsächliche Repräsentationsmechanismus ist jedoch viel reichhaltiger als nur neuronale Feuerungen, und es ist wichtig zu lernen, was diese Repräsentationen sind. Der Redner geht auch auf ihre Arbeit im Bereich Computersicherheit ein und wie das aus der Sicherheitsforschung gewonnene Wissen zur Verbesserung von KI und Deep Learning genutzt werden kann, insbesondere angesichts der zunehmenden Übernahme dieser Technologien in kritischen Rollen in der Gesellschaft, in der Angreifer Anreize erhalten, neue Angriffe zu entwickeln.
  
  
• 00:15:00 In diesem Abschnitt erörtert der Referent die wachsende Bedeutung des Aufbaus von KI- und maschinellen Lernsystemen, die gegen Angriffe widerstandsfähig sind, da wir uns bei kritischen Entscheidungen zunehmend auf diese Systeme verlassen. Es gab zunehmend Angriffe auf maschinelle Lernsysteme, wie z. B. die Verwendung fortschrittlicher Computer-Vision-Technologie zur Lösung von Erfassungen und der Versuch, maschinelle Lernsysteme zur Betrugserkennung zu umgehen. Das Team des Referenten hat die Verwundbarkeit aktueller maschineller Lernsysteme untersucht und Abwehrmechanismen für Angriffe entwickelt, einschließlich Black-Box-Angriffen, bei denen der Angreifer nichts über das Opfermodell wissen muss. Das Team zeigte auch, dass Black-Box-Angriffe durch Methoden wie Ensemble-basierte Angriffe und Abfragezugriff auf das Modell effektiv sein können.
  
  
• 00:20:00 In diesem Abschnitt erläutert Dawn Song ihre Arbeit bei der Entwicklung einer unsamplebasierten Angriffstechnik, bei der ein Ensemble von White-Box-Modellen verwendet wird, um effektive gegnerische Beispiele zu schaffen, die zu erfolgreichen Angriffen führen, selbst in einer Black-Box-Umgebung. Auf der defensiven Seite bleibt der Aufbau einer starken und allgemeinen Lösung zur Verteidigung gegen starke und anpassungsfähige Angreifer jedoch eine herausfordernde und offene Frage. Darüber hinaus stellt Dawn fest, dass der Ansatz der Konsistenzprüfung zur Erkennung von Angriffen eine fruchtbare Richtung für den Aufbau einer Verteidigung gegen Angriffe sein könnte, da er in verschiedenen Szenarien, einschließlich KI und Datenschutz, angewendet werden könnte. In Zusammenarbeit mit Forschern von Google zeigten Dawn und ihr Team beispielsweise, wie wichtig es ist, die Privatsphäre der Benutzer sorgfältig zu schützen, da sensible Daten wie Sozialversicherungs- und Kreditkartennummern aus maschinellen Lernmodellen extrahiert werden könnten, die aus E-Mails trainiert wurden.
  
  
• 00:25:00 In diesem Abschnitt spricht Dawn Song über ihre Arbeit zu Datenschutz und Sicherheit in der KI, insbesondere zur Abwehr von Angriffen durch das Trainieren unterschiedlich privater Sprachmodelle. Song erklärt, dass der differenzielle Datenschutz das Hinzufügen von Rauschen während des Trainingsprozesses auf eine angemessen gewählte Weise beinhaltet, um Angriffe abzuschwächen, ohne sich sensible Informationen wie Sozialversicherungsnummern zu merken. Song teilt auch ihre jüngsten Arbeiten im Bereich Sicherheit für IoT-Geräte, wo sie Deep-Learning-Techniken nutzen, um Codeähnlichkeiten schnell zu erkennen und Schwachstellen in der Firmware von IoT-Geräten aus der realen Welt zu identifizieren. Als CEO von Oasis Labs erklärt Song, wie das Unternehmen eine datenschutzorientierte Cloud-Computing-Plattform auf Blockchain aufbaut, die die Herausforderungen des Datenschutzes in der KI angeht, indem sie die Privatsphäre wahrende Smart Contracts ermöglicht.
  
  
• 00:30:00 In diesem Abschnitt diskutiert Dr. Dawn Song eine Blockchain-Plattform, die dabei helfen kann, KI zu dezentralisieren und den Zugang zu maschinellen Lernfunktionen zu verbessern und gleichzeitig die Privatsphäre der Benutzer zu schützen. Die Plattform wird über intelligente Verträge verfügen, die Nutzungsbedingungen für Benutzer festlegen, die vorschreiben, dass die gesammelten Daten nur zum Trainieren eines die Privatsphäre wahrenden maschinellen Lernmodells verwendet werden können, und festlegen, wie der Benutzer entschädigt werden kann. Dr. Song teilt auch ihre Begeisterung für die Programmsynthese und wie sie dabei helfen kann, wichtige Probleme zu lösen und gleichzeitig eine nützliche Perspektive für ein breiteres Spektrum von Problemen zu bieten. Abschließend rät Dr. Song allen, die neue Felder erschließen möchten, mutig zu sein und keine Angst davor zu haben, bei Null anzufangen, da dies ein sehr lohnender Prozess sein kann.