Maschinelles Lernen und neuronale Netze

[MetaQuotes]

MQL5 unterstützt jetzt Matrix- und Vektoroperationen, die bei verschiedenen Berechnungsaufgaben, einschließlich des maschinellen Lernens, verwendet werden. Wir haben diesen Thread eingerichtet, um einige Materialien auszuwählen und weiterzugeben, die für Sie nützlich sein könnten. Die Technologie des maschinellen Lernens basiert auf neuronalen Netzen.

Neuronale Netze sind mathematische Modelle, die versuchen, die Aktivität des menschlichen Gehirns nachzuahmen. Sie bestehen aus miteinander verbundenen Knoten, die sich gegenseitig Signale übermitteln, um auf der Grundlage dieser Signale Entscheidungen zu treffen.

Beim maschinellen Lernen nutzt der Computer Daten, um Modelle zu trainieren, die anhand neuer Daten Ergebnisse vorhersagen. Das maschinelle Lernen wird in verschiedenen Bereichen eingesetzt, z. B. in der Medizin, in der Wirtschaft, in der Materialwissenschaft und in anderen Bereichen.

Deep Learning (Tiefes Lernen) ist ein Teilbereich des maschinellen Lernens, bei dem mehrschichtige neuronale Netze zur Lösung von Datenverarbeitungsproblemen eingesetzt werden. Deep-Learning-Modelle können Daten mit hoher Genauigkeit untersuchen und automatisch Merkmale aus komplexen hierarchischen Strukturen extrahieren, was für herkömmliche maschinelle Lernalgorithmen in der Regel eine schwierige Aufgabe ist.

Tiefe neuronale Netze bestehen in der Regel aus mehreren Schichten, die die Eingabedaten sequentiell verarbeiten. Jede Schicht besteht aus einer Reihe von Neuronen, die Daten verarbeiten und die Ergebnisse an die nächste Schicht weiterleiten. Die Idee des Modeltrainings besteht darin, die Gewichte der neuronalen Verbindungen zwischen den Schichten so anzupassen, dass der Fehler im Trainingsdatensatz minimiert wird. Einer der am häufigsten verwendeten Ansätze für das Training tiefer neuronaler Netze ist die Backpropagation. Mit diesem Algorithmus kann das Modell feststellen, wie sich Änderungen der auf den verschiedenen Ebenen verwendeten Gewichte auf den Modellfehler auswirken, und diese Informationen nutzen, um die Gewichte auf der Grundlage des Gradientenabstiegs anzupassen.

Deep Learning ermöglicht die Erstellung genauerer Modelle im Vergleich zu klassischen Methoden des maschinellen Lernens, wie z.B. die logistische Regression oder die Entscheidungsbäume. Sie erfordert jedoch einen großen Datensatz und umfangreiche Computerressourcen für das Training, was in einigen Bereichen ein Problem darstellen kann.

Deep Learning wird in verschiedenen Bereichen angewandt, z. B. in den Bereichen Computer Vision, Verarbeitung natürlicher Sprache, Sprachverarbeitung und Empfehlungssysteme. In den letzten Jahren war Deep Learning bei der Bilderkennung und der Verarbeitung natürlicher Sprache äußerst erfolgreich.

In diesem Thread stellen wir Ihnen Videos zur Verfügung, die Ihnen helfen, die Funktionsweise dieser Technologien zu verstehen.

[MetaQuotes]

1. Die Deep-Learning-Revolution

Dieses kurze Video hebt die revolutionäre Rolle der künstlichen Intelligenz (KI) hervor, wenn es darum geht, übermenschliche Fähigkeiten zu erlangen, neue Materialien zu entdecken und knappe Ressourcen zu schonen.

Diese Technologien ermöglichen es sehbehinderten Personen, Gesichter zu erkennen und Texte zu lesen, und helfen Blinden, ihren Kindern vorzulesen. Selbstfahrende Fahrzeuge geben uns die Freiheit, abgelegene Gebiete ohne Straßenkarten zu erkunden.

Das Video betont die Rolle der KI-Technologie bei der Stärkung der Fähigkeit der Menschen, bessere Entscheidungen zu treffen und komplexe Probleme zu lösen.

[MetaQuotes]

2. Visualisierung von Informationsverarbeitungsprozessen in neuronalen Deep-Learning-Netzen

Eine Reihe von kurzen Videos: besser anschauen als versuchen zu beschreiben.

[MetaQuotes]

3. [DeepLearning | Video 1] Was „ist“ ein neuronales Netzwerk?

Dieses Video stellt den Zuschauern neuronale Netze vor und erklärt, wie sie funktionieren. Neuronale Netze enthalten mehrere Schichten von Neuronen, von denen jede durch Gewichte und Vorspannungen mit den Neuronen der vorherigen und nächsten Schicht verbunden ist. Die Aktivierung eines Neurons wird durch die gewichtete Summe der Aktivierungen der Neuronen der vorherigen Schicht bestimmt, die dann durch eine Sigmoidfunktion komprimiert wird.

• 00:00:00 Eine Einführung in neuronale Netze, die erklärt, wie sie vom Gehirn inspiriert sind und wie sie zur Erkennung handgeschriebener Ziffern verwendet werden können. Das Video erklärt auch die Struktur des neuronalen Netzwerks, einschließlich der Eingabeschicht, der verborgenen Schicht und der Ausgabeschicht.
• 00:05:00 Dieser Teil erklärt, warum erwartet werden kann, dass sich die Schichtstruktur eines neuronalen Netzes intelligent verhält. Es wird festgestellt, dass jedes Neuron in den mittleren Schichten des Netzwerks einer der mehreren Teilkomponenten entspricht, die das Gesamtbild ausmachen. Beispielsweise kann ein Neuron aktiviert werden, wenn ein Schleifenbild in die Eingabeschicht eingegeben wird. Dadurch kann das Netzwerk verschiedene Komponenten zusammensetzen, aus denen sich ein Bild zusammensetzt, und schließlich die im Bild dargestellte Ziffer erkennen.
• 00:10:00 Die Gewichtungen und Verzerrungen eines neuronalen Netzwerks bestimmen sein Verhalten, während Lernen der Prozess der Anpassung dieser Werte ist, um das gewünschte Verhalten zu erreichen. Neuronale Netze bestehen aus Schichten von Neuronen, von denen jede durch Gewichte und Vorspannungen mit den Neuronen der vorherigen und nächsten Schicht verbunden ist. Die Aktivierung eines Neurons wird durch die gewichtete Summe der Aktivierungen der Neuronen der vorherigen Schicht bestimmt, die dann durch eine Sigmoidfunktion komprimiert wird. Dieser endgültige Vektor wird dann in die nächste Schicht eingespeist.
• 00:15:00 In diesem Video erklärt der Autor, was ein neuronales Netzwerk ist und wie es funktioniert. Er führt auch die Sigmoidfunktion ein und erklärt, wie sie verwendet wird, um die entsprechende gewichtete Summe zwischen Null und Eins zu komprimieren.

[MetaQuotes]

4. [DeepLearning | Video 2] Gradient Decent, wie neuronale Netze lernen

Dieses Video erklärt, wie der Gradientenabstieg neuronalen Netzwerken dabei hilft, effektiver zu lernen.

• 00:00:00 Vorstellung der Idee des Gradientenabstiegs, der das Herzstück des Lernens neuronaler Netze und vieler anderer maschineller Lernalgorithmen bildet. Das Video zeigt dann, wie das Erkennungsnetzwerk für handschriftliche Ziffern mit einer Kostenfunktion, Gewichtungen und Verzerrungen parametrisiert wird. Die Leistung des Netzwerks wird anhand des Beispiel-Trainingsdatensatzes bewertet, und je besser das Netzwerk Zahlen erkennt, desto genauer wird die Kostenfunktion.
• 00:05:00 Der Gradientenabstieg ist ein leistungsstarkes Werkzeug zum Trainieren neuronaler Netze, und es ist wichtig, sich daran zu erinnern, dass die Kostenfunktion eine glatte Ausgabe haben muss, um sie effektiv zu minimieren.
• 00:10:00 Erläuterung des Gradientenabstiegsalgorithmus und der Funktionsweise künstlicher Neuronen. Der Gradientenabstieg wird verwendet, um ein lokales Minimum in der Kostenfunktion zu finden, während man sich in kleinen Schritten einen Hang hinab bewegt. Dieser Vorgang wird wiederholt, bis das Netzwerk eine gute Lösung erreicht. Das Video zeigt dann ein Beispiel für Gradientenabstieg in Aktion mit einem Netzwerk von Neuronen, die darauf trainiert sind, Zahlen zu erkennen. Obwohl das Netzwerk nicht perfekt ist, ist es beeindruckend, dass es mit Bildern umgehen kann, die es zuvor noch nicht gesehen hat.
• 00:15:00 Gradientenabstieg ist eine Technik zum Trainieren neuronaler Netze. Im ersten Teil haben wir gesehen, dass tiefe neuronale Netze, die mit zufällig markierten Daten trainiert wurden, die gleiche Genauigkeit erreichen wie mit richtig markierten Daten. Der zweite Teil zeigt, dass, wenn ein neuronales Netz auf einem Datensatz mit den richtigen Labels trainiert wird, die lokalen Minima seiner Kostenfunktion von gleicher Qualität sind.
• 00:20:00 Demonstrieren, wie Gradientenabstieg in neuronalen Netzwerken funktioniert und wie es dem Netzwerk helfen kann, effektiver zu lernen.

[MetaQuotes]

5. [DeepLearning | Video 3] Was macht Backpropagation wirklich?

Der Backpropagation-Algorithmus wird in neuronalen Netzwerken verwendet, um ihnen beim Lernen zu helfen. Der Algorithmus berechnet den Gradienten der Kostenfunktion, der von den Gewichtungen und Verzerrungen des Netzwerks abhängt. Der Gradient wird dann verwendet, um die Gewichte und Vorspannungen des Netzwerks anzupassen.

• 00:00:00 Backpropagation ist das Herzstück des neuronalen Netzwerktrainings. Der Algorithmus berechnet den Gradienten der Kostenfunktion, der von den Gewichtungen und Verzerrungen des Netzwerks abhängt. Der Gradient wird dann verwendet, um die Gewichte und Vorspannungen des Netzwerks anzupassen.
  
• 00:05:00 Backpropagation ist ein überwachter Lernalgorithmus, der dabei hilft, die Neuronenaktivierung in einem Deep-Learning-Netzwerk zu erhöhen. Der Algorithmus passt die Gewichte und Bias der Neuronen in der vorherigen Schicht so an, dass diese Änderung proportional zur Größe der jeweiligen Gewichte ist. Backpropagation hilft auch dabei, die gewünschten Änderungen an den Gewichten und Bias der Neuronen in der zweiten Schicht zu propagieren.
• 00:10:00 Backpropagation wird verwendet, um die Gewichtungen und Vorspannungen des neuronalen Netzwerks anzupassen. Dies ist ein stochastischer Gradientenabstiegsalgorithmus, der Daten zufällig in Minibatches aufteilt und Gewichtungen und Bias basierend auf dem Minibatch aktualisiert. Dieser Algorithmus ist rechnerisch schneller als echter Gradientenabstieg und kann zu einem lokalen Minimum der Kostenfunktion konvergieren.

[MetaQuotes]

6. [DeepLearning | Video 4] Backpropagation-Kalkül

Dieses Video erklärt die Mathematik hinter dem Backpropagation-Algorithmus für Deep Learning unter Verwendung eines einfachen Netzwerks mit einem Neuron pro Schicht, das durch Gewichtungen und Verzerrungen definiert ist. Eine Kettenregel wird eingeführt, um zu verstehen, wie sich Gewichtsänderungen auf die Kosten auswirken, und die Empfindlichkeit der Kosten gegenüber kleinen Gewichtsänderungen wird durch Ableitungen von Kostenfunktionen, Aktivierungsfunktionen und gewichteter Summe gefunden. Die Sensitivität wird berücksichtigt, indem die Sensitivität der vorherigen Aktivierung in der Erweiterung der Kettenregel iterativ berechnet wird, um die Sensitivität gegenüber vorherigen Gewichtungen und Verzerrungen zu finden. Der Ansatz bleibt auch bei mehreren Neuronen pro Schicht ähnlich, wobei jedes Gewicht seinen eigenen Index hat, um seine Position in der Schicht zu verfolgen.

• 00:00:00 Im ersten Teil tauchen wir in die notwendige mathematische Apparatur für Backpropagation im Deep Learning ein. Das Video zeigt das Beispiel eines einfachen Netzwerks mit einem Neuron pro Schicht, das durch drei Gewichte und drei Vorspannungen definiert ist. Das Ziel besteht darin, zu verstehen, wie empfindlich die Kostenfunktion auf diese Variablen reagiert und welche Anpassungen zur Reduzierung der Kostenfunktion am effektivsten sind. Eine Kettenregel wird eingeführt, um zu verstehen, wie sich Änderungen in Gewichtsvariablen auf die Kostenfunktion auswirken. Die Sensitivität der Kostenfunktion gegenüber kleinen Gewichtsänderungen wird unter Verwendung der Ableitungen der Kostenfunktion, der Aktivierungsfunktion und der gewichteten Summe berechnet.
• 00:05:00 Der zweite Teil führt in das Konzept der Empfindlichkeit in Bezug auf Gewichtungen und Bias in einem neuronalen Netzwerk ein. Die Ableitung der Kostenfunktion in Bezug auf Gewichtungen und Verzerrungen wird durch eine Erweiterung der Kettenregel gefunden, die eine Berücksichtigung der Empfindlichkeit erfordert. Obwohl Empfindlichkeit als die Anzahl von Neuronen betrachtet werden kann, die zusammen feuern und miteinander kommunizieren, erfordert die Ableitung, dass der Ausdruck über alle Trainingsbeispiele gemittelt wird. Die Sensitivität der vorherigen Aktivierung in der Kettenregelerweiterung wird berechnet und verwendet, um die Sensitivität gegenüber vorherigen Gewichtungen und Bias iterativ zu berechnen. Der Ansatz ändert sich nicht viel, selbst wenn die Schichten im neuronalen Netzwerk mehrere Neuronen haben; Jedes Gewicht muss jedoch mit zusätzlichen Indizes indiziert werden, um seine Position in der Schicht zu verfolgen.

[MetaQuotes]

Künstliche Intelligenz Vollständiger Kurs | Künstliche Intelligenz-Tutorial für Anfänger | Edureka

Oben haben wir Ihnen die besten Materialien für eine Einführung in künstliche neuronale Netze präsentiert. Dieses Video von Edureka vermittelt Ihnen ein umfassendes und detailliertes Wissen über KI-Konzepte mit praktischen Beispielen.

Der Einfachheit halber stellen wir einen allgemeinen Zeitplan und dann einen detaillierten für jeden Teil bereit. Sie können direkt zum richtigen Moment gehen, in einem für Sie bequemen Modus schauen und nichts verpassen.

1. 00:00:00 - 01:00:00 Teil 1 bietet eine Einführung in die künstliche Intelligenz, diskutiert ihre Geschichte, verschiedene Bereiche und Konzepte und wie Deep Learning zur Lösung realer Probleme eingesetzt wird. Es spricht auch über verschiedene Arten von künstlicher Intelligenz und beliebte Programmiersprachen für die Entwicklung von KI.
   
   
2. 01:00:00 - 02:00:00 Teil 2 behandelt die verschiedenen Arten künstlicher Intelligenz und wie sie zur Lösung verschiedener Arten von Problemen eingesetzt werden können. Es erklärt, wie die lineare Regression verwendet werden kann, um die durchschnittliche Maximaltemperatur für einen bestimmten Temperaturbereich vorherzusagen, und die logistische Regression verwendet werden kann, um die Wahrscheinlichkeit vorherzusagen, dass ein Ergebnis eins oder null sein wird. Es diskutiert auch den Entscheidungsbaumalgorithmus und wie er verwendet werden kann, um einen Entscheidungsbaum aufzubauen. Schließlich wird erklärt, wie Random Forest verwendet werden kann, um eine genauere und stabilere Prognose zu erstellen.
   
   
3. 02:00:00 - 03:00:00 In Teil 3 erklärt Edureka-Tutor Michael Kennedy, wie der K-Means-Clustering-Algorithmus funktioniert und wie er verwendet werden kann, um riesige Datensätze in eine kleine Anzahl aussagekräftiger Werte zu komprimieren. Er erläutert auch, dass Reinforcement Learning eine weitere Art des maschinellen Lernens ist, das Agenten dabei hilft, ihre Ziele in einer unbekannten Umgebung zu erreichen.
   
   
4. 03:00:00 - 04:00:00 In Teil 4 lernen wir, wie man den Informationsgewinn für einen übergeordneten Knoten, einen untergeordneten Knoten und einen anderen Straßentyp berechnet. Die Entropie wird für die rechte Seite berechnet und ergibt Null, was anzeigt, dass keine Unsicherheit besteht. Wenn die Straße eben ist, ist die Geschwindigkeit des Autos hoch, was darauf hinweist, dass diese Information keine Unsicherheit enthält. Wenn die Straße steil ist, kann die Geschwindigkeit des Autos langsam oder schnell sein, was darauf hinweist, dass die Informationen nicht spezifisch für einen bestimmten Straßentyp sind.
   
   
5. 04:00:00 - 04:50:00 In Teil 5 bietet Edureka-Lehrer Kirill Eremenko einen umfassenden Überblick über künstliche Intelligenz und behandelt die Grundlagen von Programmierung, Daten und maschinellem Lernen. Er erklärt, wie neuronale Netze funktionieren und wie sie zur Vorhersage von Aktienkursen eingesetzt werden können. Es beschreibt auch die notwendigen Schritte zum Trainieren eines neuronalen Netzwerks, einschließlich Datenaufbereitung, Partitionierung und Skalierung. Abschließend diskutiert er Modellarchitekturparameter für ein KI-System, einschließlich der Anzahl der Neuronen in jeder verborgenen Schicht, der Bias-Größe und der Kostenfunktion.
   
   

Detaillierter Zeitplan für Teile des Videokurses

Teil 1

• 00:00:00 Zulaikha von Edureka spricht über die Geschichte der KI, verschiedene Bereiche und damit verbundene Konzepte, wie die KI entstanden ist, die Grenzen des maschinellen Lernens und wie Deep Learning benötigt wird. Sie stellt auch das Konzept des Deep Learning vor und zeigt, wie es zur Lösung realer Probleme eingesetzt werden kann. Abschließend spricht sie über das nächste Modul, Natural Language Processing.
  
  
• 00:05:00 Künstliche Intelligenz ist die Wissenschaft und Technik zur Schaffung intelligenter Maschinen, die Aufgaben ausführen können, die normalerweise menschliche Intelligenz erfordern würden, wie visuelle Wahrnehmung, Spracherkennung, Entscheidungsfindung und Übersetzung zwischen Sprachen. Die jüngsten Fortschritte bei der Rechenleistung und den Algorithmen haben es ermöglicht, künstliche Intelligenz effektiver in unser tägliches Leben zu integrieren. Universitäten, Regierungen, Start-ups und große Technologieunternehmen stecken ihre Ressourcen in KI, weil sie glauben, dass darin die Zukunft liegt. Künstliche Intelligenz entwickelt sich sowohl als Studiengebiet als auch als Wirtschaft rasant.
  
  
• 00:10:00 Künstliche Intelligenz wird in verschiedenen Bereichen eingesetzt, von Finanzen über Gesundheitswesen bis hin zu sozialen Medien. KI ist so wichtig geworden, dass sogar Unternehmen wie Netflix sie nutzen.
  
  
• 00:15:00 Künstliche Intelligenz ist in drei Stufen unterteilt, und wir befinden uns derzeit in der schwachen KI-Stufe. Künstliche allgemeine Intelligenz oder starke KI ist noch lange nicht erreicht, aber wenn dies geschehen würde, wäre dies ein Meilenstein in der Menschheitsgeschichte.
  
  
• 00:20:00 Dieser Abschnitt stellt verschiedene Arten von künstlicher Intelligenz vor und diskutiert dann verschiedene Programmiersprachen für KI. Python gilt als die beste Sprache für die KI-Entwicklung und R ist auch eine beliebte Wahl. Andere Sprachen sind Python, Lisp, Prolog, C++, MATLAB, Julia und JavaScript.
  
  
• 00:25:00 Python ist eine flexible und einfach zu verwendende Programmiersprache, die im Bereich der künstlichen Intelligenz immer beliebter wird. Maschinelles Lernen ist eine Technik, die es Maschinen ermöglicht, aus Daten zu lernen, um ihre Vorhersagen zu verbessern.
  
  
• 00:30:00 Maschinelles Lernen ist eine Teilmenge der künstlichen Intelligenz, die Algorithmen verwendet, um automatisch zu lernen und sich mit Erfahrung zu verbessern. Die Hauptkomponente des maschinellen Lernprozesses ist ein Modell, das mit einem maschinellen Lernalgorithmus trainiert wird.
  
  
• 00:35:00 Der Unterschied zwischen einem Algorithmus und einem Modell besteht darin, dass ein Algorithmus alle Entscheidungen abbildet, die das Modell basierend auf einer bestimmten Eingabe treffen muss, während ein Modell einen maschinellen Lernalgorithmus verwendet, um nützliche Erkenntnisse aus der Eingabe zu extrahieren und zu geben Sie erhalten ein sehr genaues Ergebnis. Wir haben dann eine Prädiktorvariable, bei der es sich um ein beliebiges Merkmal der Daten handelt, das zur Vorhersage der Ausgabe verwendet werden kann. Im selben Beispiel ist also die Höhe die Antwortvariable. Die Antwortvariable wird auch Zielvariable oder Ausgangsvariable genannt. Dies ist die Variable, die Sie mithilfe der Prädiktorvariablen vorherzusagen versuchen. Die Antwortvariable ist also die Funktion oder Ausgabevariable, die mithilfe der Prädiktorvariablen vorhergesagt werden muss. Dann haben wir die sogenannten Trainingsdaten. Im Prozess des maschinellen Lernens werden Sie häufig auf die Begriffe „Training“ und „Testen“ von Daten stoßen. Trainingsdaten sind die Daten, die zum Erstellen des Modells für maschinelles Lernen verwendet werden. Wenn Sie also beim maschinellen Lernen die Daten in die Maschine laden, werden sie in zwei Teile geteilt. Das Aufteilen von Daten in zwei Teilmengen wird auch als Datenaufteilung bezeichnet. Sie nehmen die Eingabedaten und teilen sie in zwei Teile.
  
• 00:40:00 Die Datenerfassung ist einer der zeitaufwändigsten Schritte beim maschinellen Lernen, und wenn Sie Daten manuell erfassen müssen, wird dies viel Zeit in Anspruch nehmen. Aber glücklicherweise gibt es viele Online-Ressourcen, die umfangreiche Datensätze bereitstellen. Alles, was Sie tun müssen, ist Web Scraping, wo Sie nur die Daten herunterladen müssen. Eine Seite, von der ich Ihnen erzählen kann, ist Cargill. Wenn Sie also neu beim maschinellen Lernen sind, machen Sie sich keine Gedanken über die Datenerfassung und all das. Alles, was Sie tun müssen, ist, zu Websites wie Cargill zu gehen und den Datensatz herunterzuladen.
  
  
• 00:45:00 Überwachtes Lernen ist eine Technik, bei der eine Maschine mit gut gekennzeichneten Daten trainiert wird. Überwachtes Lernen ähnelt der Art und Weise, wie Lehrer Schülern helfen, mathematische Konzepte zu verstehen.
  
  
• 00:50:00 Beim überwachten Lernen enthält der Trainingsdatensatz Informationen darüber, wie Objekte aussehen, z. B. Bilder von Tom und Jerry. Ein maschineller Lernalgorithmus wird mit diesem gekennzeichneten Datensatz trainiert, um zu lernen, wie Bilder identifiziert und klassifiziert werden. Beim unüberwachten Lernen erhält ein maschineller Lernalgorithmus keine gekennzeichneten Daten, sondern trainiert stattdessen mit nicht gekennzeichneten Daten. Beim Reinforcement Learning wird ein Agent in eine Umgebung versetzt und lernt, sich zu verhalten, indem er Aktionen ausführt und die Belohnungen beobachtet, die er für diese Aktionen erhält.
  
  
• 00:55:00 Maschinelles Lernen besteht aus drei Haupttypen des Lernens: überwachtes Lernen, unüberwachtes Lernen und bestärkendes Lernen. Überwachtes Lernen wird verwendet, um gekennzeichnete Daten zu lernen, nicht überwachtes Lernen wird verwendet, um nicht gekennzeichnete Daten zu lernen, und bestärkendes Lernen wird verwendet, um Aktionen und Belohnungen zu lernen. Es gibt drei Arten von Problemen, die mit maschinellem Lernen gelöst werden können: Regression, Klassifizierung und Clustering. Es gibt viele Algorithmen, die verwendet werden können, um Regressions-, Klassifizierungs- und Clustering-Probleme zu lösen, aber die am häufigsten verwendeten sind lineare Regression, logistische Regression, Support Vector Machine und Naive Bayes.

Teil 2

• 01:00:00 Künstliche Intelligenz kann verwendet werden, um Klassifizierungs-, Regressions- und Clustering-Probleme zu lösen. Überwachte Lernalgorithmen wie die lineare Regression werden verwendet, um Zielgrößen wie den Hauspreisindex basierend auf Eingabedaten vorherzusagen.
  
  
• 01:05:00 Lineare Regression ist ein überwachter Lernalgorithmus, der verwendet wird, um eine kontinuierliche abhängige Variable, y, basierend auf Werten der unabhängigen Variablen, x, vorherzusagen. Die lineare Regression beginnt mit dem Aufbau einer Beziehung zwischen y und x unter Verwendung der besten linearen Anpassung und berechnet dann die Steigung und die y-Verschiebung der linearen Regressionslinie.
  
  
• 01:10:00 Edureka-Ausbilder Michael Kennedy demonstriert die lineare Regression an einem Datensatz von Wetterbedingungen, die an verschiedenen Tagen auf der ganzen Welt aufgezeichnet wurden. Er zeigt, wie man die erforderlichen Bibliotheken importiert und die Daten liest, wie man Datenpunkte zeichnet und eine lineare Beziehung zwischen Variablen findet. Er geht auch auf die Warnmeldung ein und erklärt, dass der Hauptzweck dieser Demonstration die Wettervorhersage ist.
  
  
• 01:15:00 In dieser Lektion wird erläutert, wie die lineare Regression verwendet werden kann, um die durchschnittliche Maximaltemperatur für einen bestimmten Temperaturbereich vorherzusagen. Das Modell wird trainiert, indem der Datensatz in Trainings- und Testsätze aufgeteilt und die entsprechende lineare Regressionsklasse importiert wird. Nach dem Tutorial zeigt der Ausbilder, wie die Steigung und die y-Verschiebung für die den Daten entsprechende Linie berechnet werden.
  
  
• 01:20:00 Erklären, wie der Regressionsalgorithmus verwendet wird, um die prozentuale Punktzahl eines Testdatensatzes vorherzusagen. Das Video zeigt auch, wie die Ergebnisse grafisch dargestellt und mit den tatsächlichen Werten verglichen werden.
  
  
• 01:25:00 Die logistische Regression ist eine Technik zur Vorhersage der abhängigen Variablen y bei gegebener unabhängiger Variable x, sodass die abhängige Variable eine kategoriale Variable ist, dh die Ausgabe eine kategoriale Variable ist. Das Ergebnis der logistischen Regression ist immer kategorisch und die grundlegende Technik der logistischen Regression ist der linearen Regression sehr ähnlich.
  
  
• 01:30:00 Die logistische Regression wird verwendet, um die Wahrscheinlichkeit vorherzusagen, dass ein Ergebnis 1 oder 0 sein wird, indem die Gleichung Pr(X = 1) = beta0 + beta1*X verwendet wird. Die logistische Funktion oder S-Kurve stellt sicher, dass der Bereich zwischen Null und Eins eingehalten wird.
  
  
• 01:35:00 Der Entscheidungsbaum-Algorithmus ist ein überwachter Lernalgorithmus, der einfach zu verstehen ist. Es besteht aus einem Wurzelknoten (wo die erste Teilung erfolgt), internen Knoten (wo Entscheidungen getroffen werden) und Blattknoten (wo Ergebnisse gespeichert werden). Verzweigungen zwischen Knoten werden durch Pfeile dargestellt, und der Algorithmus arbeitet, indem er die Daten durch den Baum durchläuft, bis ein Endknoten erreicht ist.
  
  
• 01:40:00 Der „ID3“-Algorithmus ist der Algorithmus, der verwendet wird, um den Entscheidungsbaum zu generieren. Die zur Verwendung dieses Algorithmus erforderlichen Schritte sind: (1) das beste Attribut auswählen, (2) dieses Attribut als Entscheidungsvariable für den Wurzelknoten zuweisen, (3) ein untergeordnetes Element für jeden Wert der Entscheidungsvariablen erstellen und (4) Beschriften Sie die Klassifizierung der Blattknoten. Wenn die Daten richtig klassifiziert sind, stoppt der Algorithmus; Wenn nicht, fährt der Algorithmus mit der Iteration durch den Baum fort und ändert die Position der Prädiktorvariablen oder des Wurzelknotens. Das beste Attribut ist dasjenige, das die Daten am effektivsten in verschiedene Klassen aufteilt. Entropie und Informationsgewinn werden verwendet, um zu bestimmen, welche Variable die Daten am besten trennt. Das höchste Maß an Informationsgewinn wird verwendet, um die Daten am Wurzelknoten zu partitionieren.
  
  
• 01:45:00 In diesem Video-Tutorial zur künstlichen Intelligenz für Anfänger lernen wir, wie man den Informationsgewinn für einen übergeordneten Knoten, einen untergeordneten Knoten und einen anderen Straßentyp berechnet. Die Entropie für die rechte Seite wird berechnet und ergibt Null, was auf das Fehlen von Unsicherheit hinweist. Wenn die Straße gerade ist, ist die Geschwindigkeit des Fahrzeugs hoch, was anzeigt, dass es keine Unsicherheit in dieser Information gibt. Wenn die Straße steil ist, kann die Fahrzeuggeschwindigkeit langsam oder schnell sein, was darauf hinweist, dass die Informationen nicht spezifisch für einen bestimmten Straßentyp sind.
  
  
• 01:50:00 Diskussion darüber, wie Entropie verwendet wird, um den Informationsgewinn in einem Entscheidungsbaum zu berechnen. Berechnen der Entropie für den übergeordneten Knoten, des gewichteten Durchschnitts für die untergeordneten Knoten und des Informationsgewinns für jede Prädiktorvariable. Die Entropie für die Straßentypvariable ist null, was bedeutet, dass der Datensatz keine Unsicherheit enthält. Der Informationsgewinn für die Variable Straßentyp beträgt 0,325, was bedeutet, dass der Datensatz wenig Informationen über die Variable Straßentyp enthält. Der Informationsgewinn für die Hindernisvariable ist Null, was bedeutet, dass die Hindernisvariable den Entscheidungsbaum nicht beeinflusst. Der Informationsgewinn für die Ratenbegrenzungsvariable ist eins, was bedeutet, dass die Ratenbegrenzungsvariable den größten Einfluss auf den Entscheidungsbaum hat.
  
  
• 01:55:00 In einem Random Forest werden mehrere Entscheidungsbäume aufgebaut, die dann kombiniert werden, um eine genauere und stabilere Prognose zu erstellen. Bootstrapping wird verwendet, um einen kleinen Datensatz zu erstellen, der dann zum Trainieren von Entscheidungsbäumen verwendet wird. Random Forest ist bei der Vorhersage neuer Daten genauer als Entscheidungsbäume, da es die Überanpassung (Speichern von Trainingsdaten) reduziert.

Teil 3

• 02:00:00 In diesem Video wird erklärt, wie Sie einen Entscheidungsbaum mit einer zufälligen Gesamtstruktur erstellen. Zuerst werden zwei oder drei Variablen zufällig ausgewählt, die an jedem Knoten des Entscheidungsbaums verwendet werden, und dann werden der Informationsgewinn und die Entropie für jede von ihnen berechnet. Dieser Prozess wird dann für jeden nächsten Verzweigungsknoten wiederholt, wodurch ein Entscheidungsbaum erstellt wird, der die Ausgabeklasse basierend auf den ausgewählten Prädiktorvariablen vorhersagt. Schließlich kehren wir zum ersten Schritt zurück und erstellen einen neuen Entscheidungsbaum basierend auf einer Teilmenge der ursprünglichen Variablen. Dieser Vorgang wird wiederholt, bis mehrere Entscheidungsbäume erstellt wurden, von denen jeder die Ausgabeklasse auf der Grundlage verschiedener Prädiktorvariablen vorhersagt. Abschließend wird die Genauigkeit des Modells anhand des Out-of-Bag-Datensatzes bewertet.
  
  
• 02:05:00 In diesem Video erklärt Edureka-Ausbilder Michael Kennedy, wie Random Forest funktioniert. Zunächst wird ein Bootstrap-Datensatz erstellt, um genaue Vorhersagen zu gewährleisten. Dann wird ein Entscheidungsbaum unter Verwendung eines zufälligen Satzes von Prädiktoren erstellt. Dieser Vorgang wird hunderte Male wiederholt, bis das Modell erstellt ist. Die Modellgenauigkeit kann mithilfe von Out-of-Bag-Sampling berechnet werden.
  
  
• 02:10:00 Der K-Nächste-Nachbar-Algorithmus ist ein überwachter Lernalgorithmus, der einen neuen Datenpunkt in Abhängigkeit von den Merkmalen seiner benachbarten Datenpunkte in eine Zielklasse oder Ausgabeklasse klassifiziert.
  
  
• 02:15:00 Der KNN-Algorithmus ist ein überwachter Lernalgorithmus, der Daten verwendet, um die Ausgabe neuer Eingabedatenpunkte vorherzusagen. Es basiert auf der Ähnlichkeit von Merkmalen zu benachbarten Datenpunkten und ist nicht parametrisch. Der KNN-Algorithmus ist faul und kann sich an den Trainingssatz erinnern, anstatt die Diskriminanzfunktion zu lernen.
  
  
• 02:20:00 Edureka-Trainer Alan C erklärt die Grundlagen der KNN- und SVM-Klassifizierungsalgorithmen. Jeder Algorithmus hat seine eigenen Stärken, und SVM ist aufgrund seiner Fähigkeit, nichtlineare Daten zu verarbeiten, eine beliebte Wahl für die Klassifizierung.
• 02:25:00 Berücksichtigung der Verwendung verschiedener Klassifizierungsalgorithmen mit Python. Zunächst werden die Daten ausgelesen und entsprechend ihrer Kennzeichnung in Obstsorten gruppiert. Dann werden verschiedene Algorithmen implementiert und an den Daten getestet. Abschließend werden die Ergebnisse gezeigt und diskutiert.
  
  
• 02:30:00 Erörtert die Bedeutung der Visualisierung beim maschinellen Lernen und erklärt die Verwendung von Boxplots, Histogrammen und Scalern. Erörtern Sie auch die Bedeutung der Aufteilung der Daten in Trainings- und Testdatensätze.
  
  
• 02:35:00 Dieses Video behandelt die Verwendung von logistischer Regression, Entscheidungsbäumen und Support-Vektor-Maschinen in einem Klassifizierungsproblem. Der Klassifikator für die logistische Regression lieferte ein gutes Ergebnis für den Trainingsdatensatz, war jedoch für den Testdatensatz weniger genau. Der Entscheidungsbaum-Klassifikator war beim Trainingsdatensatz genauer, schnitt beim Testdatensatz jedoch schlechter ab. Die Support-Vektor-Maschine lieferte sowohl bei Trainings- als auch bei Testdatensätzen gute Ergebnisse.
  
  
• 02:40:00 Der K-Means-Clustering-Algorithmus ist ein unbeaufsichtigter maschineller Lernalgorithmus, der verwendet wird, um ähnliche Elemente oder Datenpunkte in Clustern zu gruppieren. Es wird für gezieltes Marketing verwendet, z. B. um ein bestimmtes Produkt bei einem bestimmten Publikum zu bewerben.
  
  
• 02:45:00 Die Ellbogenmethode ist eine einfache Methode, um den optimalen Wert von k für ein bestimmtes Problem zu finden. Die Ellbogenmethode beginnt mit der Berechnung der Summe der quadratischen Fehler für verschiedene Werte von k und deren anschließender Visualisierung. Wenn k zunimmt, nimmt der Fehler ab, was darauf hinweist, dass mehr Cluster zu einer geringeren Verzerrung führen. Der optimale Wert von k liegt an dem Punkt im Diagramm, an dem sich die Fehlerabnahme verlangsamt und eine "Ellbogen"-Form bildet.
  
  
• 02:50:00 Die Ellbogenmethode ist eine einfache Möglichkeit, den optimalen K-Wert für den K-Means-Algorithmus auszuwählen. Diese Methode beginnt mit der Berechnung der Summe der quadrierten Fehler für verschiedene Werte von K und deren grafischer Darstellung. Wenn K zunimmt, nimmt der Fehler ab, was darauf hinweist, dass mehr Cluster zu einer geringeren Verzerrung führen. Der optimale K-Wert für K-Means liegt an dem Punkt, an dem die Verzerrung drastisch abnimmt. Dieses Verfahren kann leicht unter Verwendung von Standardbibliotheksfunktionen implementiert werden. In diesem Video verwenden wir ein Beispielbild aus dem scikit-learn-Datensatz, um die Ellbogenmethode zu demonstrieren.
  
  
• 02:55:00 Dieses Video erklärt, wie der K-Means-Clustering-Algorithmus funktioniert und wie er verwendet werden kann, um große Datensätze auf eine kleine Anzahl aussagekräftiger Werte zu komprimieren. Es wird auch berücksichtigt, dass Reinforcement Learning eine andere Art von maschinellem Lernen ist, das Agenten dabei hilft, zu lernen, wie sie ihre Ziele in einer unbekannten Umgebung erreichen.

Teil 4

• 03:00:00 Ein Reinforcement-Learning-Agent in einem Videospiel wie Counter Strike versucht, seine Belohnung zu maximieren, indem er die beste Aktion entsprechend seinem aktuellen Zustand und seiner Umgebung ausführt. Wenn sich beispielsweise ein Agent einem Tiger nähert, kann er seine erwartete Belohnung senken, um die Möglichkeit zu berücksichtigen, getötet zu werden. Diese Konzepte wie Aktion, Zustand, Belohnung und Gamma werden auf den nächsten Folien ausführlicher besprochen.
  
  
• 03:05:00 In diesem Video diskutiert der Edureka-Ausbilder Adriano Ferreira die Konzepte der Exploration und Ausbeutung, einen mathematischen Ansatz zur Lösung der Markov-Entscheidungsfindung und das Problem des kürzesten Pfads. Anschließend zeigt er ein Beispiel für die Auswahl einer Strategie zur Lösung eines Problems mit der Greedy-Strategie und ein Beispiel für die Auswahl einer Strategie mit der Explorationsstrategie.
  
  
• 03:10:00 Der Edureka-Lehrer erklärt die Grundlagen des verstärkenden Lernens, einschließlich der drei Hauptmethoden: richtlinienbasiert, wertebasiert und aktionsbasiert. Anschließend demonstriert er den Q-Learning-Algorithmus, der ein wichtiger Reinforcement-Learning-Algorithmus ist. Das Ziel des Q-Lernens ist es, den Zustand mit der höchsten Belohnung zu finden, und die beim Q-Lernen verwendete Terminologie umfasst Zustand und Aktion.
  
  
• 03:15:00 Erklären der Grundlagen der künstlichen Intelligenz, einschließlich ihrer Funktionsweise und der Entwicklung eines Agenten, der aus Erfahrung lernen kann. Das Video erklärt, wie die Belohnungsmatrix und die einheitliche Q-Matrix verwendet werden, um den aktuellen Status des Agenten und zukünftige Belohnungen zu bestimmen. Gamma wird verwendet, um die Exploration und die Verwendung von Agenten zu steuern.
  
  
• 03:20:00 Das Video erzählt von den grundlegenden Konzepten der künstlichen Intelligenz, einschließlich wie die Matrix Q eines Agenten sein Gedächtnis speichert und wie es aktualisiert wird. Dann geht es weiter, wie man dasselbe in Python mit den NumPy- und R-Bibliotheken macht.
  
  
• 03:25:00 Das Video zeigt, wie man ein künstliches Intelligenzsystem (KI) erstellt, indem es Anfängern beibringt, wie man den Code verwendet, um eine Belohnungsmatrix und eine Q-Matrix zu erstellen und den Gamma-Parameter einzustellen. Das Video zeigt dann, wie man das KI-System trainiert, indem man es 10.000 Iterationen lang laufen lässt, und wie man das System testet, indem man einen zufälligen Zustand auswählt und versucht, den Zielzustand zu erreichen, der Raum Nummer fünf ist.
  
  
• 03:30:00 Maschinelles Lernen ist ein Forschungsgebiet, das Computern hilft, aus Daten zu lernen. Es ist jedoch nicht in der Lage, hochdimensionale Daten zu verarbeiten. Eine weitere Einschränkung des maschinellen Lernens sind die steigenden Anforderungen an die Rechenleistung, wenn die Anzahl der Messungen zunimmt.
  
  
• 03:35:00 Künstliche Intelligenz kann nur begrenzt zur Bilderkennung verwendet werden, da Bilder viele Pixel enthalten und viele arrogante Daten enthalten. Die Merkmalsextraktion ist ein wichtiger Teil des Machine-Learning-Workflows, da die Effektivität eines Algorithmus davon abhängt, wie gründlich der Programmierer die Daten analysiert hat. Deep Learning ahmt die Funktionsweise unseres Gehirns nach und kann selbst lernen, sich auf die richtigen Funktionen zu konzentrieren, was nur sehr wenig Anleitung durch den Programmierer erfordert.
  
  
• 03:40:00 Deep Learning ist eine Reihe von maschinellen Lerntechniken, mit denen Sie Funktionshierarchien in Daten effizient lernen können. Deep Learning besteht aus einem neuronalen Netzwerk aus künstlichen Neuronen, die genau wie unser Gehirn funktionieren. Die Anzahl der Schichten und die Anzahl der Perzeptronen in jeder Schicht ist vollständig abhängig von der Aufgabe oder Anwendung.
  
  
• 03:45:00 Erklären, wie das Gewicht bei der Berechnung der Aktivierungsfunktion verwendet wird. Diese Aktivierungsfunktion bestimmt dann, wie viel von einer bestimmten Eingabe (X eins) verwendet wird, um eine Ausgabe (eins) zu erzeugen.
  
  
• 03:50:00 Ein mehrschichtiges Perzeptron hat dieselbe Struktur wie ein einschichtiges Perzeptron, jedoch mit einer oder mehreren verborgenen Schichten. Die Gewichtungen werden anfänglich zufällig zugewiesen und es ist notwendig, dass die Gewichtungen korrekt sind, um den Fehler zu minimieren. Backpropagation ist eine Möglichkeit, Gewichtungen zu aktualisieren, um Fehler zu reduzieren.
  
  
• 03:55:00 Edureka-Trainer Emmanuel erklärt dem Publikum, wie man die Ausgabe eines Modells mit Backpropagation berechnet. Zuerst berechnen sie einen Fehler, der zeigt, wo das Modell ungenau ist. Sie verwenden dann Fehler-Backpropagation, um die Gewichtungen so zu aktualisieren, dass der Fehler minimiert wird. Wenn der Fehler hoch bleibt, hören sie auf, die Gewichtungen zu aktualisieren, finden das globale Verlustminimum und hören dann auf.

Teil 5

• 04:00:00 Backpropagation ist eine mathematische Technik, die verwendet wird, um die Netzwerkgewichtungen anzupassen, um den Fehler in der Ausgabeschicht zu reduzieren. Der Gradientenabstieg wird verwendet, um die Vorwärtsausbreitungsleistung des Netzwerks zu optimieren. Rekurrente neuronale Netze sind eine Art künstliche neuronale Netze, die verwendet werden können, um Muster in einer Datenfolge zu erkennen.
  
  
• 04:05:00 Erklärt, wie tiefe neuronale Netze funktionieren und wie sie zur Vorhersage von Aktienkursen verwendet werden können. Es behandelt die Grundlagen vorwärts gerichteter neuronaler Netze, mehrschichtiger Perzeptrons und rekurrenter neuronaler Netze.
  
  
• 04:10:00 Beschreibt die Schritte, die zum Trainieren eines neuronalen Netzwerks erforderlich sind, einschließlich Datenaufbereitung, Partitionierung und Skalierung. Auch die Verwendung von Platzhaltern und Initialisierern wird besprochen.
  
  
• 04:15:00 Die Parameter der Modellarchitektur für ein System der künstlichen Intelligenz werden diskutiert, einschließlich der Anzahl der Neuronen in jeder verborgenen Schicht, der Bias-Dimension und der Kostenfunktion. Anschließend wird erläutert, wie die Aktivierungsfunktion die verborgenen Schichten transformiert und wie die Ausgabe transponiert und berechnet wird.
  
  
• 04:20:00 Edureka-Trainer Kirill Eremenko erklärt die Grundlagen des Deep Learning, einschließlich der Rolle von neuronalen Netzen, Optimierern und Initialisierern. Es erklärt auch, wie Mini-Batch-Training funktioniert und wie Epochen verwendet werden, um ein neuronales Netzwerk zu trainieren.
  
  
• 04:25:00 Demonstrieren von Deep Learning durch Vergleichen der vorhergesagten Werte des Modells mit den tatsächlich beobachteten Zielen, die in y gespeichert sind. TensorFlow wird dann verwendet, um die Gewichtungs- und Bias-Faktoren zu aktualisieren. Das Modell wird dann mit den Testdaten trainiert und seine Vorhersage mit den tatsächlichen Werten verglichen. Nach 10 Epochen zeigt sich, dass die Genauigkeit des Modells dem tatsächlichen Wert sehr nahe kommt.
  
  
• 04:30:00 Text Mining oder Textanalyse ist der Prozess des Extrahierens aussagekräftiger Informationen aus Texten in natürlicher Sprache. Text Mining ist ein weites Feld, das NLP verwendet, um Text Mining und Textdatenanalyse durchzuführen. NLP ist ein Teil des Text Mining, das Maschinen hilft, Daten als Nullen und Einsen zu verstehen. Die Verarbeitung natürlicher Sprache ist das, was Computer und Smartphones verwenden, um unsere gesprochene und geschriebene Sprache zu verstehen. Beispiele für Text-Mining- und Natural-Language-Processing-Anwendungen sind Spam-Erkennung, Predictive Typing und Stimmungsanalyse.
  
  
• 04:35:00 Es diskutiert die Bedeutung von Tokenisierung, Stemming und Lemmatisierung bei der Verarbeitung natürlicher Sprache. Es erklärt, dass die Tokenisierung einen Satz in Wörter zerlegt, die Wortstammbildung Wörter auf ihre Grundform reduziert und die Lemmatisierung Wörter wieder mit ihrem Lemma verbindet. Stoppwörter sind gebräuchliche Wörter, die entfernt werden, um sich auf wichtige Wörter zu konzentrieren.
  
  
• 04:40:00 Dieses Edureka-Tutorial erklärt, wie man die Verarbeitung natürlicher Sprache mit dem NaiveBayesClassifier durchführt, einer Bibliothek, die alle notwendigen Funktionen enthält, um diese Aufgabe zu erfüllen. Anschließend demonstrieren sie den Prozess, indem sie eine Stimmungsanalyse für den Datensatz der Filmkritik durchführen. Der Klassifikator konnte feststellen, welche Bewertungen positiv und welche negativ waren.
  
  
• 04:45:00 Das Edureka Machine Learning Engineer-Programm umfasst neun Module mit über 200 Stunden interaktivem Lernen, die Python-Programmierung, maschinelles Lernen, Verarbeitung natürlicher Sprache (NLP), grafische Modellierung, Deep Learning und Spark abdecken. Das Curriculum umfasst überwachte und unüberwachte Algorithmen, Statistiken und Zeitreihen, Deep Learning und Spark. Das durchschnittliche Jahresgehalt eines Machine-Learning-Ingenieurs liegt bei über 134.000 US-Dollar.
  
  
• 04:50:00 Es wird eine umfassende Einführung in die künstliche Intelligenz präsentiert, einschließlich der Grundlagen der Programmierung, Datenverarbeitung und des maschinellen Lernens. Nach Abschluss dieses Einführungsmoduls ist der Student in der Lage, mit zusätzlichen Kursen fortzufahren, die darauf abzielen, sein Verständnis dieser Themen zu vertiefen.

[MetaQuotes]

Der Kurs MIT Introduction to Deep Learning ist für das schnelle und intensive Erlernen der Grundprinzipien des Deep Learning konzipiert

Der MIT-Kurs Einführung in Deep Learning soll eine schnelle und intensive Ausbildung in den Grundprinzipien des Deep Learning mit Anwendungen in Computer Vision, Verarbeitung natürlicher Sprache, Biologie und anderen Bereichen bieten. Im Rahmen des Kurses erwerben die Studierenden grundlegende Kenntnisse über Deep-Learning-Algorithmen und praktische Erfahrungen im Aufbau neuronaler Netze in TensorFlow. Das Programm gipfelt in einem Projektvorschlagswettbewerb, der von Mitarbeitern und Industriesponsoren bewertet wird. Es wird vorausgesetzt, dass die Studierenden mit Analysis (dh Ableitungen) und linearer Algebra (dh Matrizen multiplizieren können) vertraut sind, aber alles andere wird im Laufe des Kurses erklärt. Erfahrung im Umgang mit Python ist hilfreich, aber nicht erforderlich.

Vorlesung 1. MIT Einführung in Deep Learning | 6.S191

In diesem Video stellt MIT Alexander Amini die Grundlagen des Deep Learning mit einer Diskussion des Perzeptrons vor. Anschließend zeigt er, wie man ein neuronales Netzwerk von Grund auf neu erstellt und den Prozess durch die Verwendung einer Bibliothek namens TensorFlow vereinfacht. Er beendet das Video, indem er erläutert, wie man ein einschichtiges und ein zweischichtiges neuronales Netzwerk mit einer Ausgabeschicht erstellt.

• 00:00:00 In diesem einwöchigen Einführungskurs in Deep Learning lernen die Teilnehmer die Grundlagen des Fachgebiets kennen und sammeln praktische Erfahrungen mit Deep-Learning-Software-Labs. Der Kurs ist gefälscht, aber Video und Audio werden tatsächlich mit Deep-Learning-Techniken generiert. Auf diese Weise kann der Ausbilder qualitativ hochwertige, realistische Beispiele für Deep Learning in Aktion zeigen.
  
  
• 00:05:00 Dieses Video stellt die Grundlagen des Deep Learning vor, einschließlich der verwendeten Terminologie und Konzepte. Die Klasse ist in technische Vorlesungen und Softwarelabore aufgeteilt, wobei sich das Abschlussprojekt auf eine kreative, innovative Idee konzentriert. Das Video endet mit einem kurzen Überblick über die Dozenten des Kurses und wie Sie sie kontaktieren können, wenn Sie Fragen haben.
  
  
• 00:10:00 Das Hauptziel von Deep Learning ist es, Merkmale aus Daten zu lernen, was durch das Training tiefer neuronaler Netze mit hierarchischen Schichten von Neuronen erreicht wird. Dies ermöglicht eine massive Parallelisierung sowie die Fähigkeit, hierarchische Merkmale zu erkennen.
  
  
• 00:15:00 In dieser Vorlesung lernen Sie die technischen Konzepte hinter Deep Learning kennen, einschließlich der Sigmoid-Aktivierungsfunktion und der Relu-Funktion. Sie werden auch sehen, wie Aktivierungsfunktionen in modernen neuronalen Netzen verwendet werden, um Nichtlinearität einzuführen. Schließlich wird Ihnen gezeigt, wie Sie die Perceptron-Gleichung verwenden, um die gewichtete Kombination von Eingabedatenpunkten zu berechnen.
  
  
• 00:20:00 Alexander Amini führt mit einer Diskussion des Perzeptrons in die Grundlagen des Deep Learning ein. Anschließend zeigt er, wie man ein neuronales Netzwerk von Grund auf neu erstellt und den Prozess durch die Verwendung einer Bibliothek namens TensorFlow vereinfacht. Er beendet das Video, indem er erläutert, wie man ein einschichtiges und ein zweischichtiges neuronales Netzwerk mit einer Ausgabeschicht erstellt.
  
  
• 00:25:00 In diesem Abschnitt beschreibt er, wie Deep Learning funktioniert und wie man ein neuronales Netzwerk aufbaut, um vorherzusagen, ob ein Schüler eine Klasse besteht oder nicht. Das Netzwerk ist nicht richtig trainiert, und daher ist die vorhergesagte Wahrscheinlichkeit des Bestehens falsch.
  
  
• 00:30:00 In diesem Video erläutert Alexander Amini die Grundlagen des Deep Learning und wie man ein neuronales Netzwerk mithilfe des Gradientenabstiegs optimiert. Er erklärt, dass Deep Learning darin besteht, ein Netzwerk zu trainieren, um seine Vorhersagen auf der Grundlage von Daten zu verbessern. Das Ziel besteht darin, Gewichte (ws) zu finden, die den Fehler des Netzwerks im Durchschnitt über alle Datensätze hinweg minimieren.
  
  
• 00:35:00 Beim Deep Learning ist Backpropagation ein Prozess der Ausbreitung von Gradienten bis zurück zum Eingang eines neuronalen Netzwerks, um zu bestimmen, wie sich jedes Gewicht ändern muss, um seinen Verlust zu verringern. In der Praxis vermeidet die Verwendung von Lernraten, die weder zu klein noch zu groß sind, lokale Minima und konvergiert dennoch zu einem globalen Optimum.
  
  
• 00:40:00 Alexander Amini erläutert, wie tiefe neuronale Netze mithilfe von Gradientenabstieg, adaptiven Lernraten und Batching trainiert werden. Er erörtert auch die Gefahren von Overfitting und wie man es mildern kann.
  
  
• 00:45:00 In diesem Vortrag wurden hauptsächlich die grundlegenden Bausteine neuronaler Netze behandelt, wie man das Puzzle löst und trainiert und wie man eine Verlustfunktion verwendet. In der nächsten Vorlesung wird Ava über Deep Sequence Modeling mit rnns und einem neuen und aufregenden Modelltyp namens Transformer sprechen.

[MetaQuotes]

MIT 6.S191 (2022): Wiederkehrende neuronale Netze und Transformatoren

Vorlesung 2. MIT 6.S191 (2022): Recurrent Neural Networks and Transformers

Dieser Abschnitt der MIT-Vorlesung bietet eine Einführung in die Sequenzmodellierung und erläutert die Bedeutung des Umgangs mit sequentiellen Daten anhand von Beispielen wie der Vorhersage der Flugbahn eines Balls. Rekurrente neuronale Netze (RNNs) werden als Mittel zur Handhabung von Sequenzmodellen vorgestellt, wobei der Vortrag erklärt, wie RNNs einen internen Speicher (oder Zustand) verwenden, um die Vorgeschichte zu erfassen, die aktuelle und zukünftige Vorhersagen informiert. Der Vortrag diskutiert auch, wie RNNs über die Zeit entrollt werden können, um Gewichtsmatrizen expliziter zu machen, und führt Designprobleme und Kriterien für die Sequenzmodellierung ein. Das Video behandelt auch häufige Probleme mit RNNs, wie z. B. das Problem des verschwindenden Gradienten, und stellt das Konzept der Aufmerksamkeit als mögliche Lösung vor, die es dem Modell ermöglicht, sich ohne Wiederholung um die wichtigsten Teile der Eingabe zu kümmern. Die Vorlesung schließt mit einer Diskussion darüber, wie Selbstaufmerksamkeitsmechanismen auf Bereiche jenseits der Sprachverarbeitung angewendet werden können, wie z. B. in der Biologie und Computer Vision.

• 00:00:00 In diesem Abschnitt des Videos stellt die Vorlesung das Konzept der Sequenzmodellierung und ihre Bedeutung bei der Bearbeitung von Aufgaben mit sequentiellen Daten vor. Der Dozent beginnt mit einem einfachen Beispiel zur Vorhersage der Flugbahn eines Balls, bei dem das Hinzufügen der vorherigen Positionsdaten des Balls die Vorhersage erheblich verbessert. Sequenzielle Daten umgeben uns überall in verschiedenen Formen wie Audio, Text, EKG-Signalen und Aktienkursen. Der Dozent erklärt dann den Unterschied zwischen Feed-Forward-Modellen und Sequenzmodellen und liefert Beispiele für reale Anwendungen, bei denen eine Sequenzmodellierung erforderlich ist. Um ein grundlegendes Verständnis der Sequenzmodellierung aufzubauen, greift der Dozent das Konzept des Perzeptrons erneut auf und demonstriert Schritt für Schritt, wie es modifiziert werden kann, um mit sequentiellen Daten umzugehen.
  
  
• 00:05:00 In diesem Abschnitt behandelt das Video das Konzept rekurrenter neuronaler Netze (RNNs) und wie sie mit sequentiellen Daten umgehen. Die Ausgabe eines RNN zu einem bestimmten Zeitschritt hängt nicht nur von der Eingabe zu diesem Zeitschritt ab, sondern auch vom Speicher des vorherigen Zeitschritts. Dieser Speicher erfasst die Vorgeschichte dessen, was zuvor in der Sequenz aufgetreten ist, und wird von jedem vorherigen Zeitschritt weitergegeben. Das Video erklärt, wie RNNs einen internen Speicher (oder Zustand) verwenden, um diesen Begriff des Gedächtnisses zu erfassen, und wie die Ausgabe zu einem bestimmten Zeitschritt eine Funktion sowohl der aktuellen Eingabe als auch der vergangenen Erinnerung ist. Das Video beschreibt auch, wie diese Arten von Neuronen definiert und als Wiederholungsbeziehung dargestellt werden können.
  
  
• 00:10:00 In diesem Abschnitt der Vorlesung erklärt der Dozent das Konzept der Wiederholungsbeziehung in neuronalen Netzen und wie es die Schlüsselidee hinter rekurrenten neuronalen Netzen (RNNs) bildet. Das RNN hält einen internen Zustand, h von t, aufrecht, der bei jedem Zeitschritt aktualisiert wird, indem eine Wiederholungsbeziehung angewendet wird, die als Kombination sowohl der aktuellen Eingabe als auch des vorherigen Zustands fungiert. Die Parameter dieser Funktion werden durch eine Reihe von Gewichten dargestellt, die während des Trainings erlernt werden. Das RNN sagt die Ausgabe voraus, nachdem es alle Wörter und Zeitpunkte in der Sequenz verarbeitet hat. Der Ausgangsvektor, y von t, wird erzeugt, indem der interne Zustand durch eine Gewichtsmatrix geleitet und eine Nichtlinearität angewendet wird. Der Vortrag bietet eine visuelle Darstellung, wie die RNN-Schleife auf sich selbst zurückwirkt und über die Zeit entrollt werden kann.
  
  
• 00:15:00 In diesem Abschnitt erklärt der Referent, wie ein RNN über die Zeit entrollt werden kann, um Gewichtungsmatrizen, die auf die Eingabe angewendet werden, expliziter zu machen. Die Gewichtsmatrizen werden über alle einzelnen Zeitschritte hinweg wiederverwendet. Der Sprecher enthält auch ein Beispiel dafür, wie ein RNN von Grund auf neu implementiert wird, und definiert die Anruffunktion, die den Vorwärtsdurchlauf durch das RNN-Modell definiert. Der Referent hebt die Nützlichkeit von RNNs in einer Vielzahl von Anwendungen hervor und motiviert eine Reihe konkreter Designkriterien, die es zu beachten gilt.
  
  
• 00:20:00 In diesem Abschnitt erörtert der Referent Entwurfsprobleme und -kriterien für die Sequenzmodellierung, darunter die Handhabung von Sequenzen variabler Länge, das Verfolgen langfristiger Abhängigkeiten, das Beibehalten und Begründen von Reihenfolgen und das Teilen von Parametern über Sequenzen hinweg. Der Referent erläutert die Bedeutung von Einbettungen für die Darstellung von Sprache als numerische Vektoren, die in ein neuronales Netz eingespeist werden können, wobei ein Beispiel eine One-Hot-Einbettung ist, bei der binäre Vektoren die Identität eines Wortes angeben. Der Referent schlägt auch vor, maschinelle Lernmodelle wie neuronale Netze zu verwenden, um Einbettungen zu lernen. Insgesamt dienen diese Konzepte als Grundlage für rekurrente neuronale Netze und die aufkommende Transformatorarchitektur, die später in der Vorlesung diskutiert werden.
  
  
• 00:25:00 In diesem Abschnitt wird das Konzept der erlernten Einbettungen eingeführt, bei dem es sich um die Abbildung der Bedeutung von Wörtern auf eine informativere Codierung handelt, die es ähnlichen Wörtern mit ähnlicher Bedeutung ermöglicht, ähnliche Einbettungen zu haben. Rekurrente neuronale Netze (RNNs) sind in der Lage, variable Sequenzlängen zu handhaben, langfristige Abhängigkeiten zu erfassen und zu modellieren und ein Gefühl der Ordnung zu bewahren, was sie für Sequenzmodellierungsaufgaben wie die Vorhersage des nächsten Wortes in einem Satz nützlich macht. Der Backpropagation-Through-Time-Algorithmus wird als Mittel zum Trainieren von RNNs eingeführt, was die Backpropagation von Fehlern über jeden Zeitschritt und die Durchführung von Matrixmultiplikationen beinhaltet, was möglicherweise zu Rechenproblemen führt.
  
  
• 00:30:00 In diesem Abschnitt wird das Problem explodierender Gradienten und verschwindender Gradienten in rekurrenten neuronalen Modellen diskutiert, und drei Lösungen zur Minderung des Problems verschwindender Gradienten werden vorgestellt. Das Problem des verschwindenden Gradienten kann dazu führen, dass ein neuronales Modell kurzfristige Abhängigkeiten gegenüber langfristigen priorisiert, was zu ungenauen Vorhersagen führt. Die drei diskutierten Lösungen bestehen darin, eine geeignete Aktivierungsfunktion zu wählen, Gewichtungen intelligent zu initialisieren und eine komplexere rekurrente Einheit wie ein langes Kurzzeitgedächtnisnetzwerk (LSTM) zu verwenden, das den Informationsfluss durch seine verschiedenen Tore selektiv steuern kann. Das LSTM-Netzwerk verwendet mehrere Gates, die interagieren, um relevante Informationen zu erhalten und irrelevante Informationen zu eliminieren.
  
  
• 00:35:00 In diesem Abschnitt des Videos erörtert der Dozent die Grundlagen rekurrenter neuronaler Netze (RNNs) und ihrer Architektur, einschließlich der Bedeutung von Gated-Strukturen und der Abschwächung des Problems des verschwindenden Gradienten. Anschließend liefern sie konkrete Beispiele dafür, wie RNNs verwendet werden können, einschließlich der Vorhersage der nächsten Musiknote in einer Sequenz, um neue Musik zu generieren und die Stimmung von Tweets zu klassifizieren. Der Dozent hebt auch die Grenzen von RNNs hervor, wie z. B. den Codierungsengpass, Ineffizienz und potenziellen Informationsverlust bei der Codierung.
  
  
• 00:40:00 In diesem Abschnitt werden die Einschränkungen rekurrenter neuronaler Netze (RNNs) bei der Handhabung langer Sequenzen diskutiert, insbesondere der Engpass, der durch die Wiederholungsbeziehung verursacht wird. Als mögliche Lösung für dieses Problem wird das Konzept der Aufmerksamkeit eingeführt, das es dem Modell ermöglicht, die wichtigsten Teile des Inputs zu identifizieren und zu berücksichtigen. Aufmerksamkeit wird als ein aufkommender und mächtiger Mechanismus für moderne neuronale Netze erklärt, insbesondere im Zusammenhang mit der Transformatorarchitektur. Die Intuition hinter der Selbstaufmerksamkeit wird entwickelt, indem die Fähigkeit des Menschen berücksichtigt wird, wichtige Teile eines Bildes zu identifizieren und Merkmale aus diesen Regionen mit hoher Aufmerksamkeit zu extrahieren.
  
  
• 00:45:00 In diesem Abschnitt wird das Suchkonzept und seine Beziehung zur Selbstaufmerksamkeit in neuronalen Netzwerken wie Transformatoren erklärt. Die Idee besteht darin, sich ohne Wiederholung um die wichtigsten Merkmale in der Eingabesequenz zu kümmern, indem Einbettungen verwendet werden, die eine gewisse Vorstellung von Position haben. Der Prozess umfasst das Extrahieren der Abfrage-, Schlüssel- und Wertmerkmale, die drei unterschiedliche Transformationen derselben Positionseinbettung sind. Der Aufmerksamkeitsmechanismus berechnet die Überschneidungen zwischen der Abfrage und dem Schlüssel, und der extrahierte Wert basiert auf dieser Berechnung, die es dem Netzwerk ermöglicht, die relevantesten Teile der Eingabe zu identifizieren und zu berücksichtigen.
  
  
• 00:50:00 In diesem Abschnitt des Videos erklärt der Kursleiter, wie der Aufmerksamkeitsmechanismus in neuronalen Netzen funktioniert. Der Aufmerksamkeitsmechanismus berechnet die Gewichtung der Aufmerksamkeit, die verschiedenen Bereichen der Eingabe zu widmen ist. Dies kann erreicht werden, indem die Ähnlichkeit zwischen Abfrage- und Schlüsselvektoren unter Verwendung eines Skalarprodukts berechnet und skaliert wird. Die Softmax-Funktion wird dann verwendet, um jeden Wert so zu komprimieren, dass er zwischen 0 und 1 liegt. Die resultierende Matrix ist die Aufmerksamkeitsgewichtung, die die Beziehung zwischen den Eingabekomponenten widerspiegelt. Diese Gewichtungsmatrix wird verwendet, um Merkmale mit hoher Aufmerksamkeit zu extrahieren, und mehrere individuelle Aufmerksamkeitsköpfe können verwendet werden, um verschiedene Aspekte der Eingabe zu berücksichtigen. Dieser Aufmerksamkeitsmechanismus ist ein leistungsfähiges Werkzeug, wie durch seine Verwendung in Transformatorarchitekturen veranschaulicht wird, die eine Vielzahl von Anwendungen haben, am bemerkenswertesten in der Sprachverarbeitung.
  
  
• 00:55:00 In diesem Abschnitt erörtert der Referent, wie Selbstaufmerksamkeitsmechanismen auf Bereiche jenseits der Sprachverarbeitung angewendet werden können, beispielsweise in der Biologie mit der neuronalen Netzwerkarchitektur Alpha Fold 2 zur Vorhersage der Proteinstruktur und in der Computervision mit Vision Transformers . Der Referent fasst auch die vorherige Diskussion über Sequenzmodellierungsaufgaben zusammen und wie RNNs für die Verarbeitung sequentieller Daten leistungsfähig sind und wie Selbstaufmerksamkeitsmechanismen Sequenzen effektiv modellieren können, ohne dass eine Wiederholung erforderlich ist. Die verbleibende Stunde der Vorlesung ist den Softwarelaborsitzungen gewidmet, bei denen die Studenten die Laborübungen von der Kurswebsite herunterladen und die Codeblöcke ausführen können, um die Laborübungen abzuschließen, wobei virtuelle und persönliche Sprechstunden zur Unterstützung zur Verfügung stehen.

[MetaQuotes]

MIT 6.S191: Convolutional Neural Networks

Vorlesung 3. MIT 6.S191 (2022): Convolutional Neural Networks

In diesem Video werden Convolutional Neural Networks vorgestellt, eine Art maschineller Lernalgorithmus, der zum Erkennen von Merkmalen in Bildern verwendet wird. Das Video erklärt, dass das Netzwerk durch die Verwendung einer geringeren Anzahl von Merkmalen Bilder genauer klassifizieren kann. Das Video erläutert auch, wie ein CNN verwendet werden kann, um eine Reihe von Objekten in einem Bild zu erkennen und zu lokalisieren.

• 00:00:00 In diesem Video erläutert Alexander Amini, wie Deep Learning die Computervision und -anwendungen revolutioniert hat und wie ein Beispiel die Datengesichtserkennung ist.
  
  
• 00:05:00 In diesem Abschnitt erläutert er, wie Computer Vision verwendet wird, um Bilder zu erkennen und zu klassifizieren. Er erläutert auch, wie Merkmale in Bildern erkannt werden und wie Bilder anhand von Merkmalen klassifiziert werden.
  
  
• 00:10:00 In diesem Teil wird erläutert, wie konvolutionelle neuronale Netze verwendet werden können, um Merkmale in Bildern zu erkennen. Das Video erklärt, dass durch das Abflachen eines Bildes die räumliche Struktur verloren geht, wodurch es für das Netzwerk schwieriger wird, die Merkmale zu lernen. Das Video erklärt auch, dass das Netzwerk durch die Verwendung von Gewichtsfeldern die räumliche Struktur bewahren und ihm das Erlernen der Merkmale erleichtern kann.
  
  
• 00:15:00 Convolutional Neural Networks sind eine Art maschineller Lernalgorithmus, der verwendet wird, um Merkmale in Bildern zu erkennen. Der Algorithmus arbeitet, indem er einen kleinen Fleck über ein Bild schiebt und Merkmale erkennt, die in dem Fleck vorhanden sind. Die Gewichtungen für den Patch werden dann bestimmt, indem das Netzwerk an einer Reihe von Beispielen trainiert wird.
  
  
• 00:20:00 Convolutional Neural Networks sind eine Art maschineller Lernalgorithmus, der verwendet werden kann, um Merkmale aus Bildern zu extrahieren. Das Ziel der Faltung besteht darin, zwei Bilder als Eingabe zu nehmen und ein drittes Bild auszugeben, das die räumliche Beziehung zwischen Pixeln bewahrt.
  
  
• 00:25:00 In diesem Video beschreibt der Moderator, wie Convolutional Neural Networks in Neuronale Netze implementiert und aufgebaut sind. Er erklärt auch, wie die drei Hauptoperationen in einem Convolutional Neural Network – Convolution, Nonlinearity und Pooling – funktionieren.
  
  
• 00:30:00 Dieses Video stellt Convolutional Neural Networks vor, einen Knoten in der Pipeline für maschinelles Lernen, der am i-ten Ausgang mit anderen Knoten verbunden ist. Faltungsschichten werden durch Parameter definiert, die die räumliche Anordnung der Ausgabe einer Schicht definieren. Das Ziel einer Faltungsschicht besteht darin, hierarchische Merkmale von einer Faltungsschicht zur nächsten zu lernen. Dies erfolgt durch Stapeln von drei Schritten – Merkmalsextraktion, räumliches Herunterskalieren und maximales Pooling – im Tandem. Schließlich zeigt das Video Code für ein erstes End-to-End Convolutional Neural Network.
  
  
• 00:35:00 Alexander Amini erläutert, wie konvolutionelle neuronale Netze für Bildklassifizierungsaufgaben verwendet werden können. Er erklärt, dass durch die Verwendung einer größeren Anzahl von Merkmalen das verkleinerte Bild eines Autos genauer als Taxi klassifiziert werden kann. Er erörtert auch, wie ein cnn verwendet werden kann, um eine Reihe von Objekten in einem Bild zu erkennen und zu lokalisieren, selbst wenn sie sich an verschiedenen Stellen im Bild befinden.
  
  
• 00:40:00 Der Kurs MIT 6.S191: Convolutional Neural Networks behandelt eine Heuristik zur Objekterkennung, die viel langsamer und anfälliger ist als andere Methoden. Als Lösung für diese Probleme wird die schnellere rcnn-Methode vorgeschlagen, die versucht, Regionen zu lernen, anstatt sich auf eine einfache Heuristik zu verlassen.
  
  
• 00:45:00 In diesem Video diskutiert Alexander Amini neuronale Faltungsnetze, ihre Ursprünge und ihre Anwendungen. Er deckt auch die Auswirkungen von CNNs auf eine Vielzahl von Aufgaben und Feldern ab.