Diskussion zum Artikel "Neuronale Netzwerke der dritten Generation: Tiefe Netzwerke" - Seite 4
Sie verpassen Handelsmöglichkeiten:
- Freie Handelsapplikationen
- Über 8.000 Signale zum Kopieren
- Wirtschaftsnachrichten für die Lage an den Finanzmärkte
Registrierung
Einloggen
Sie stimmen der Website-Richtlinie und den Nutzungsbedingungen zu.
Wenn Sie kein Benutzerkonto haben, registrieren Sie sich
vlad1949:
... die Entwicklung eines Einzelgängers (wahrscheinlich eines begabten Programmierers) ist noch nicht zur praktischen Umsetzung gebracht worden.
Ist es aber. Die erste Version ist auf code.google.com veröffentlicht. Das Projekt heißt libvmr.
Bislang nur auf Java. Später werde ich es auf andere Sprachen portieren, einschließlich mql5.
vlad1949:
...
Hier ein Vorschlag: Diskutieren Sie Reshetovs Thema in seinem Blog oder in einem separaten Thread (wenn er es organisiert).
Meinungen und Überlegungen zum Thema des Artikels - "Deep Neural Networks" - sind hier willkommen.
Es ist auch möglich, sich mit Deep Learning zu beschäftigen.
Zum Beispiel, um die Klassifizierung zu verbessern, sagen wir für Bilder, dann trainieren autoencoders mit Invarianz. Zum Beispiel müssen wir zwischen Bildern zweier Klassen unterscheiden. Dabei handelt es sich um Charts von Finanzinstrumenten mit Bildern von diesen Indikatoren. Die erste Klasse ist ein Diagramm vor dem Anstieg der Notierungen. Die zweite Klasse ist das Diagramm vor dem Anstieg der Kurse nach unten. In diesem Fall ist es beim Training von Autocodierern notwendig, für die erste Klasse unveränderte Bilder und für die zweite Klasse inverse, d.h. negative, Bilder an die Eingänge zu liefern.
Auch können bereits fertige, mit dem Backpropagation-Algorithmus trainierte Autoencoder zu einer Kaskade zusammengefügt und ein bereits mit VMR trainiertes Neuron an den Ausgang gesetzt werden.
Reshetov:
Wenn du Recht hast, sollte dein "tiefer" Intellekt, der den Turing-Test bestanden hat, bereits das Internet versklaven und die Welt beherrschen.
Ehrlich gesagt bin ich es leid, dass du so rechthaberisch bist.
Wenn Sie Recht haben, sollte Ihr "tiefer" Intellekt, der den Turing-Test bestanden hat, bereits das Internet versklaven und die Welt beherrschen.
Andryukha, machen Sie nicht zu viel Lärm. Sonst hören die Pfleger von Turing, wachen auf, und dann ist es aus mit der Weltherrschaft.
Ehrlich gesagt, bin ich es leid, dass du so rechthaberisch bist...
Nimm ein Beruhigungsmittel und es wird dir gut gehen. Nach der geistigen Versklavung bekommst du ein Zehntel des Universums, wenn du nicht zu laut wütest.
Bereits nach dem Schreiben dieses Artikels stieß ich auf den Entwurf eines Buches von einem der führenden Forscher auf dem Gebiet des "Deep Learning" , Yoshua Bengio et al. http://www. iro.umontreal.ca/~bengioy/dlbook/
Es enthält viel Mathematik, aber gleichzeitig auch klare Definitionen und grundlegende Konzepte zum Thema, von grundlegend bis fortgeschritten.
Nachfolgend ein paar Auszüge aus der freien Übersetzung.
In Abschnitt 10."Unüberwachtes und Transfer-Lernen"sind die Autoren der Meinung, dass, während das lehrergeleitete Lernen das Arbeitspferd der jüngsten industriellen Erfolge des Deep Learning war, ein Schlüsselelement künftiger Fortschritte das unüberwachte Lernen von Repräsentationen (Bildern?) ohne Lehrer sein könnte .). Die Idee ist, dass einige Repräsentationen nützlicher sein können (z. B. bei der Klassifizierung von Objekten aus Bildern oder Phonemen aus Sprache) als andere. Wie dort argumentiert wird, geht es darum, Repräsentationen zu lernen, um die besten systematisch auszuwählen, d. h.. Durch Optimierung des Merkmals, das die Rohdaten repräsentiert ihre RepräsentationenиRepräsentationen.
In diesem Papier haben wir einige der grundlegenden Bausteine für das unbeaufsichtigteLernen von Repräsentationen ( AutoEncoder und RBM) und sehr erfolgreiche Rezepte für die Kombination von ihnen, um tiefe Repräsentationen (Stacked AutoEncoder und Stacked RBM) zu bilden, trainiert gierig schichtweise unbeaufsichtigte Pre-Training .
Wenn wir anschließend tiefe Netze mit einem Lehrer trainieren (Feinabstimmung), trainieren wir dieRepräsentationen mit dem Ziel, eine auszuwählen, die am besten zu der Aufgabe passt, das durch die Eingabenrepräsentierte Ziel vorherzusagen.
Was wäre, wenn wir anstelle einer Aufgabe viele Aufgaben hätten, die gemeinsameRepräsentationen oder Teile davon haben könnten ? (dies ist Multi-Task-Lernen, )
"Transferlernen und Bereichsanpassung "
Wissenstransfer und Bereichsanpassung beziehen sich auf die Situation, in der das, was
unterbestimmten Bedingungen (d. h. der P1-Verteilung)gelernt wurde , zur Verbesserung der Generalisierung unter anderen Bedingungen (z. B. der P2-Verteilung) verwendet wird.
Im Fall des Wissenstransfers gehen wir davon aus, dass dieAufgaben unterschiedlich sind, aber viele der
Faktoren, die die P1-Verteilung erklären, sind auch für die Veränderungen relevant, die erfasst werden müssen, um P2 zu lernen. Dies wird im Allgemeinen imKontext desüberwachten Lernens verstanden, bei dem die Eingabenы die gleichen sind gleichыDie Inputs sind die gleichen, aber das Ziel kann unterschiedlich seinvon Natur sein, zum Beispiel das Erlernen von visuellenKategorien, die imersten undzweitenFallunterschiedlich sind . Wenn die erste Stichprobe (aus P1) viel mehr Daten enthält , kann es hilfreich sein, Repräsentationen zu lernen, die für eine schnelle Generalisierung bei der Verarbeitung von Beispielen aus P2nützlich sind .
Zum Beispiel haben viele visuelle Kategorien gemeinsame Konzepte auf niedriger Ebene(Kanten undvisuelleFormen), Auswirkungen von geometrischen Veränderungen, Veränderungen der Beleuchtung usw.
Im Allgemeinen könnenWissenstransfer, Multitasking-Lernen undDomänenanpassung durch dasLernen von Repräsentationen erreicht werden, wenn es Merkmale gibt, die für verschiedene Einstellungen oder Aufgaben nützlich sind , d.h. wenn es gemeinsame zugrunde liegende Faktoren gibt.
Im Falle der Domänenanpassung gehen wir davon aus, dass die zu lösende Aufgabe dieselbe ist, die Eingabesätze jedoch unterschiedlich sind. Wenn wir beispielsweise die Stimmung (positiv odernegativ) in Bezug aufTextkommentare im Internetvorhersagen wollen, könnte die erste Stichprobe ein Verweis auf Verbraucherkommentare zu Büchern, Videos undMusiksein, während sich der zweite Satz auf dasFernsehen oderandereProdukte beziehen könnte.
Während das Multitasking-Lernen im Allgemeinen im Kontext des Lernens mit einem Lehrer betrachtet wird, gilt der allgemeinere Begriff des Transfer-Lernens für das unüberwachte Lernen und das Verstärkungslernen.
Eine extreme Form des Transferlernens ist das One-Shot-Lernen oder sogar das Zero-Shot-Lernen , bei demnur ein oder gar kein Beispiel für eine neue Aufgabe gegeben wird.
Kurz gesagt, zwei wichtige Schlussfolgerungen.
Für das Deep Learning neuronaler Netze mit Pre-Training ist es sinnlos, über die Bedeutung einzelner Prädiktoren zu sprechen. Wichtig ist die interne Struktur der Menge. Dadurch wird es möglich, tiefe Repräsentationen (Bilder)in der Phase des Trainings ohne Lehrer und in der Phase des Trainings mit Lehrer zuextrahieren , um festzustellen, wie gut sie der jeweiligen Aufgabe entsprechen.
Ein positiver Nebeneffekt des Vortrainings ist, dass Repräsentationen extrahiert werden, die für das neuronale Netz gut geeignet sind , um eine andere Aufgabe zu lösen , nicht die, die wir ihm in der zweiten Phase beigebracht haben .
Genauer gesagt: Wenn Sie den Artikel aufmerksam lesen, werden Sie feststellen, dass wir das neuronale Netz darauf trainiert haben, Eingaben durch die Darstellung von ZigZag-Signalen zu klassifizieren. Infolgedessen sind die Ergebnisse der Genauigkeit nicht beeindruckend. Aber die Ergebnisse von des Gesamtsaldos, die mit den vorhergesagten Signalen des trainierten neuronalen Netzes erzielt wurden, sind höher als die, die mit ZigZag-Signalen erzielt wurden! Um die Effizienz der Vorhersage zu bewerten, habe ich einen Koeffizienten K eingeführt, der die durchschnittliche Zunahme der kleinen Punkte pro Balken des Diagramms angibt. Für ZZ ist er beispielsweise gleich 17, während er für die Vorhersagen des Netzwerks je nach Instrument zwischen 25 und 35 liegt (auf TF M30).
Das ist Wissenstransfer ( Transfer-Lernen ) - wenn wir mit einem Datensatz lernen, erhalten wir Lösungen für mehrere verschiedene Aufgaben.
Dies ist ein äußerst vielversprechendes und sich entwickelndes Thema.
Um die in diesem Artikel begonnene Arbeit abzuschließen, werde ich im nächsten Beitrag ein Beispiel für die Optimierung von DN SAE-Parametern mithilfe eines evolutionären (genetischen) Algorithmusgeben .
Die Verwendung von DN SRBM habe ich nicht in Betracht gezogen . Sie hat in meiner Praxis keine stabilen Ergebnisse gezeigt.
Erfolg
Bereits nach dem Schreiben dieses Artikels stieß ich auf den Entwurf eines Buches von einem der führenden Forscher auf dem Gebiet des "Deep Learning" Yoshua Bengio et al. http://www. iro.umontreal.ca/~bengioy/dlbook/
Viel Mathematik, aber gleichzeitig klare Definitionen und grundlegende Konzepte zum Thema, von grundlegend bis fortgeschritten, werden gegeben.
Ich will ehrlich sein, als ich den Artikel gelesen habe, hatte ich einen etwas merkwürdigen und wolkigen Eindruck, aber ich habe es als einen "Alles auf einen Haufen"-Ansatz abgetan. Dann habe ich das Buch über den Link gelesen. Leider handelt es sich bei fast allem, was in diesem Werk vorgestellt wird, um längst wiedergekäute Ideen, die von jemandem als etwas Neues und Überraschendes präsentiert werden. Und jetzt sagen der Mathematiker und der Forschungsingenieur in mir nur noch eines: Dieses Thema ist dazu da, Geld aus den Staatshaushalten herauszuquetschen, leider.
Übrigens gibt es in dem Buch keine Mathematik (eine eigene, nicht aus einem Lehrbuch abgeschriebene). Einige Sprüche in Form von Formeln nur.... Ich sehe im Allgemeinen keine wissenschaftlichen Aussichten, zumindest bis eine wirklich neue Idee in dieser Richtung auftaucht. Aber das erfordert in erster Linie theoretische Forschung (die niemand betreibt), nicht praktische Magie. Bis jetzt wissen die Jungs offenbar nicht wirklich, was sie wollen.
Sie wollen also die angewandte Anwendung von CS verbieten und die theoretischen Nerds darauf hetzen?
Auch ohne Nerds ist klar, dass nur das klarste Signal durch Autocoder oder MB sickern wird, und alles andere wird verwischt und unsichtbar werden.
Sie wollen also CS-Anwendungen verbieten und die theoretischen Nerds gegen sie aufbringen?
Nein, natürlich nicht. Ich bekämpfe nur die Versuche, die Wissenschaft, egal ob angewandt oder theoretisch, durch Schamanismus zu ersetzen, so gut ich kann. Und das ist genau das, was auf dem Gebiet der NS geschieht, das seit etwa einem Jahrzehnt sowohl in der angewandten als auch in der theoretischen Wissenschaft stecken geblieben ist.
Und was ist das Problem für die Wissenschaft? Wer verbietet das Theoretisieren über maschinelles Lernen?
Ein weiterer Vorteil ist, dass all diese Theorien im Handumdrehen widerlegt werden können, da es offene Repositories mit Beispielen aus angewandten Bereichen und fertige Forschungspakete wie R oder Weka gibt, mit deren Hilfe jeder jede theoretische Hypothese leicht widerlegen kann.
Es ist der Mangel an Problemen, dass das maschinelle Lernen aus der kurzen Hose herausgewachsen ist, als es nur bloße Theorien gab, aber praktische Ergebnisse im Bereich der Verallgemeinerbarkeit von Algorithmen nicht über den Sockel hinauskamen. Sobald Rechenressourcen allgemein verfügbar wurden, verdrängten Anwendungswissenschaftler die theoretischen Nerds aus dem Feld.
Was ist das Problem für die Wissenschaft? Wer verbietet das Theoretisieren über maschinelles Lernen?
Ein weiteres Kompliment ist, dass all diese Theorien im Handumdrehen widerlegt werden können, da es offene Repositories mit Beispielen aus angewandten Bereichen gibt und fertige Forschungspakete wie R oder Weka, mit deren Hilfe jeder jede theoretische Hypothese leicht widerlegen kann.
Es ist der Mangel an Problemen, dass das maschinelle Lernen aus der kurzen Hose herausgewachsen ist, als es nur bloße Theorien gab, aber praktische Ergebnisse im Bereich der Verallgemeinerbarkeit von Algorithmen nicht über den Sockel hinauskamen. Sobald Rechenressourcen allgemein verfügbar wurden, verdrängten die Anwendungswissenschaftler die Theoretiker aus dem Feld.
Wo sind wir uns überhaupt nicht einig? Dass Anwendungswissenschaftler die Nerds verdrängen, ist natürlich eine gute Sache. Außerdem sind mit der Verfügbarkeit von Rechenressourcen viele Probleme lösbar geworden, über die man früher nur theoretisch nachdenken musste. Das heißt aber nicht, dass die Computerressourcen alle Probleme lösen werden. Der extensive Weg ist nicht ewig, und seine Möglichkeiten neigen sich bereits dem Ende zu. Früher oder später werden wir also zum Botanismus zurückkehren müssen.