I will assume a basic understanding of neural networks and backpropagation. If you’d like to brush up, this lecture will give you the basics of neural networks and this one will explain how these principles are applied in modern deep learning systems. Self-attention The fundamental operation of any transformer architecture is the self-attention...
Hallo zusammen, ich habe das Video nicht direkt im Forum gepostet, sondern in meinem Blog. WARNUNG nicht-normative Sprache für diejenigen, die sich wirklich für den Markt interessieren...
Оказывается пьяным меня смотреть ещё интересней. ВНИМАНИЕ в видео используется не нормативная лексика так что уберите детей от экрана телевизора. Ну и говорим собственно о рынке
Hallo zusammen, ich habe das Video nicht direkt im Forum gepostet, sondern in meinem Blog. WARNUNG nicht-normative Sprache für diejenigen, die sich wirklich für den Markt interessieren...
Was ich nicht erschaffen kann, verstehe ich nicht, sagte Feynman.
Die Multiplikation ist besser als die Addition, da das Vorzeichen berücksichtigt wird. Im Allgemeinen ist die Arbeit von sagen wir Argument und Ergebnis etwas) eine einzige Buchhaltungsfunktion.
Abfragen, Schlüssel und Werte verstehen nicht ganz, wie sie organisiert sind.
Der Hauptunterschied besteht in der pseudo-parallelen Verarbeitung und dem Zugriff auf die trainierten Daten und das Skalarprodukt der Eingangs- und Ausgangsergebnisvektoren, das als Selbsterkenntnis bezeichnet wird. Und dann wird die Matrix dieser Skalarprodukte beim Training verwendet. Und das sind keine Gewichte.
Ich konnte in dem Artikel keine Informationen über das Langzeitgedächtnis finden.
Im Allgemeinen werden zusätzliche Matrizen erstellt, die das Ergebnis korrigieren.
Was ich nicht erschaffen kann, verstehe ich nicht, sagte Feynman.
Die Multiplikation ist besser als die Addition, da das Vorzeichen berücksichtigt wird. Im Allgemeinen ist die Arbeit von sagen wir Argument und Ergebnis etwas) eine einzige Buchhaltungsfunktion.
Abfragen, Schlüssel und Werte verstehen nicht ganz, wie sie organisiert sind.
Der Hauptunterschied besteht in der pseudo-parallelen Verarbeitung und dem Zugriff auf die trainierten Daten und das Skalarprodukt der Eingangs- und Ausgangsergebnisvektoren, das als Selbsterkenntnis bezeichnet wird. Und dann wird die Matrix dieser Skalarprodukte beim Training verwendet. Und das sind keine Gewichte.
Ich konnte in dem Artikel keine Informationen über das Langzeitgedächtnis finden.
Im Allgemeinen werden zusätzliche Matrizen erstellt, die das Ergebnis korrigieren.
Ich gebe nicht vor, es richtig zu verstehen))))
es ist ein anderer Algorithmus (wie der coolste jetzt), es gibt keine Definition von Lang- und Kurzzeitspeicher in ihm wie in lstm.
Kurz und gut, es geht nur darum zu sehen, wie eine Lstm-Zelle funktioniert.
Ich habe zwei Tage lang versucht herauszufinden, was eine Kohonenschicht (VQ) ist
und es stellt sich heraus, dass es nur ein primitiver Autoencoder ist.
Vladimir schrieb über sie in Artikeln
Vladimir schrieb speziell über VQ ? oder nur ?
Wie sieht es mit dem Speicher aus, wie funktioniert er? Ist es fest oder läuft es in einem Fenster (wie ein Indikator), ist es statisch oder wird es umgeschult?
Ich frage mich, ob es möglich ist, dasselbe mit einem Gerüst zu tun?
dies ist ein anderer Algorithmus (wie der coolste jetzt), es gibt keine Definition von Lang- und Kurzzeitspeicher wie bei lstm, denke ich
kurz und gut, um zu sehen, wie eine Lstm-Zelle funktioniert
Ahh. Nun denn, es gibt Selbstbewusstsein und Ressourcen in Zeiten wie diesen. Im Allgemeinen wird durch die Skalierung der Netzarchitektur lediglich die Leistung bis zu einer gewissen Grenze verbessert. Hier verstehe ich die Komplikation eines Netzes durch Kombinationen verschiedener Logiken und deren Skalierung)). Und folglich
Der Engpass beim Transformator-Lernen ist die Matrix der Skalarprodukte der Selbstwahrnehmung. Für die Sequenzlänge t ist sie eine dichte Matrix, die t quadrierte Elemente enthält. Bei standardmäßiger 32-Bit-Präzision und mit t= 1000 benötigt ein Stapel von 16 solcher Matrizen etwa 250 MB Speicherplatz. Da wir mindestens vier von ihnen (vor und nach Softmax, plus deren Gradienten) für eine einzige Self-Imaging-Operation benötigen, schränkt dies die maximale Anzahl von zwölf Schichten in einer Standard-GPU ein und BREAKS 12 GB.
müssen Sie viel recherchieren und nachdenken, bevor Sie verstehen...
Sie müssen vielleicht Gehirnvitamine kaufen, weniger trinken)
Ich habe es noch nicht herausgefunden.) Aber es ist nicht so schwer, wie es aussieht.
Wir sind also wieder bei dem üblichen Flussdiagramm, das man sich zuerst ausdenken muss, damit man ein Bild davon hat...
wie -
zuerst der Klassifikator(er macht dies und das)
dann verbinden wir den Klassifikator mit der Ausgabe (er macht dies und das)
dann etwas zählen ( es macht dies und das )
Ausgang ist wieder mit dem Nachlaufregler verbunden
usw...
Wenn Sie sich durch komplizierte Nachrichten lesen, deren Begriffe Sie nicht einmal kennen, was bekommen Sie dann?
Man muss das Grundprinzip des Algorithmus verstehen, vor allem auf der Ebene des Blockschemas, wie ich schon sagte. Dann werden Sie verstehen, was was ist, und wenn Sie es verstehen, werden Sie verstehen, was und wie Sie es verbessern können.
Wenn Sie kein Benutzerkonto haben, registrieren Sie sich
Erlauben Sie die Verwendung von Cookies, um sich auf der Website MQL5.com anzumelden.
Bitte aktivieren Sie die notwendige Einstellung in Ihrem Browser, da Sie sich sonst nicht einloggen können.
Sie sind angemeldet. Die Zwei-Faktor-Authentifizierung wurde deaktiviert. Richten Sie sie erneut ein und scannen Sie einen neuen QR-Code oder fahren Sie mit deaktivierter Zwei-Faktor-Authentifizierung fort.
Wie ist das Gedächtnis organisiert?
hängt davon ab, wo
wenn Sie es verstehen, warte ich auf eine Erklärung :)
http://peterbloem.nl/blog/transformers
Hallo zusammen, ich habe das Video nicht direkt im Forum gepostet, sondern in meinem Blog. WARNUNG nicht-normative Sprache für diejenigen, die sich wirklich für den Markt interessieren...
https://www.mql5.com/ru/blogs/post/739164
Hallo zusammen, ich habe das Video nicht direkt im Forum gepostet, sondern in meinem Blog. WARNUNG nicht-normative Sprache für diejenigen, die sich wirklich für den Markt interessieren...
https://www.mql5.com/ru/blogs/post/739164
Ich bin bisher nur im Wald gewandert, ich habe die HH-ki..... nicht benutzt.
Das habe ich auch nicht... Deshalb spreche ich über ein Blockdiagramm, damit zumindest auf der Ebene der Bilder zu verstehen, wie es funktioniert
Ja, ich auch... Deshalb spreche ich über das Blockdiagramm, so dass zumindest auf der Ebene der Bilder zu verstehen, wie die Dinge funktionieren
Ich habe zwei Tage lang versucht, herauszufinden, was eine Kohonenschicht ist
und es stellt sich heraus, dass es nur ein primitiver Autoencoder ist
Vladimir schrieb über sie in Artikelnhängt davon ab, wo
wenn Sie es verstehen, erkläre ich es Ihnen gerne :)
http://peterbloem.nl/blog/transformers
Was ich nicht erschaffen kann, verstehe ich nicht, sagte Feynman.
Die Multiplikation ist besser als die Addition, da das Vorzeichen berücksichtigt wird. Im Allgemeinen ist die Arbeit von sagen wir Argument und Ergebnis etwas) eine einzige Buchhaltungsfunktion.
Abfragen, Schlüssel und Werte verstehen nicht ganz, wie sie organisiert sind.
Der Hauptunterschied besteht in der pseudo-parallelen Verarbeitung und dem Zugriff auf die trainierten Daten und das Skalarprodukt der Eingangs- und Ausgangsergebnisvektoren, das als Selbsterkenntnis bezeichnet wird. Und dann wird die Matrix dieser Skalarprodukte beim Training verwendet. Und das sind keine Gewichte.
Ich konnte in dem Artikel keine Informationen über das Langzeitgedächtnis finden.
Im Allgemeinen werden zusätzliche Matrizen erstellt, die das Ergebnis korrigieren.
Ich gebe nicht vor, es richtig zu verstehen ))))
Was ich nicht erschaffen kann, verstehe ich nicht, sagte Feynman.
Die Multiplikation ist besser als die Addition, da das Vorzeichen berücksichtigt wird. Im Allgemeinen ist die Arbeit von sagen wir Argument und Ergebnis etwas) eine einzige Buchhaltungsfunktion.
Abfragen, Schlüssel und Werte verstehen nicht ganz, wie sie organisiert sind.
Der Hauptunterschied besteht in der pseudo-parallelen Verarbeitung und dem Zugriff auf die trainierten Daten und das Skalarprodukt der Eingangs- und Ausgangsergebnisvektoren, das als Selbsterkenntnis bezeichnet wird. Und dann wird die Matrix dieser Skalarprodukte beim Training verwendet. Und das sind keine Gewichte.
Ich konnte in dem Artikel keine Informationen über das Langzeitgedächtnis finden.
Im Allgemeinen werden zusätzliche Matrizen erstellt, die das Ergebnis korrigieren.
Ich gebe nicht vor, es richtig zu verstehen))))
es ist ein anderer Algorithmus (wie der coolste jetzt), es gibt keine Definition von Lang- und Kurzzeitspeicher in ihm wie in lstm.
Kurz und gut, es geht nur darum zu sehen, wie eine Lstm-Zelle funktioniert.
Ich habe zwei Tage lang versucht herauszufinden, was eine Kohonenschicht (VQ) ist
und es stellt sich heraus, dass es nur ein primitiver Autoencoder ist.
Vladimir schrieb über sie in ArtikelnVladimir schrieb speziell über VQ ? oder nur ?
Wie sieht es mit dem Speicher aus, wie funktioniert er? Ist es fest oder läuft es in einem Fenster (wie ein Indikator), ist es statisch oder wird es umgeschult?
Ich frage mich, ob es möglich ist, dasselbe mit einem Gerüst zu tun?
ich habe eine Million Fragen)))
dies ist ein anderer Algorithmus (wie der coolste jetzt), es gibt keine Definition von Lang- und Kurzzeitspeicher wie bei lstm, denke ich
kurz und gut, um zu sehen, wie eine Lstm-Zelle funktioniert
Ahh. Nun denn, es gibt Selbstbewusstsein und Ressourcen in Zeiten wie diesen. Im Allgemeinen wird durch die Skalierung der Netzarchitektur lediglich die Leistung bis zu einer gewissen Grenze verbessert. Hier verstehe ich die Komplikation eines Netzes durch Kombinationen verschiedener Logiken und deren Skalierung)). Und folglich
Der Engpass beim Transformator-Lernen ist die Matrix der Skalarprodukte der Selbstwahrnehmung. Für die Sequenzlänge t ist sie eine dichte Matrix, die t quadrierte Elemente enthält. Bei standardmäßiger 32-Bit-Präzision und mit t= 1000 benötigt ein Stapel von 16 solcher Matrizen etwa 250 MB Speicherplatz. Da wir mindestens vier von ihnen (vor und nach Softmax, plus deren Gradienten) für eine einzige Self-Imaging-Operation benötigen, schränkt dies die maximale Anzahl von zwölf Schichten in einer Standard-GPU ein und BREAKS 12 GB.
müssen Sie viel recherchieren und nachdenken, bevor Sie verstehen...
Sie müssen vielleicht Gehirnvitamine kaufen, weniger trinken)
Ich habe es noch nicht herausgefunden.) Aber es ist nicht so schwer, wie es aussieht.
Wir sind also wieder bei dem üblichen Flussdiagramm, das man sich zuerst ausdenken muss, damit man ein Bild davon hat...
wie -
zuerst der Klassifikator(er macht dies und das)
dann verbinden wir den Klassifikator mit der Ausgabe (er macht dies und das)
dann etwas zählen ( es macht dies und das )
Ausgang ist wieder mit dem Nachlaufregler verbunden
usw...
Wenn Sie sich durch komplizierte Nachrichten lesen, deren Begriffe Sie nicht einmal kennen, was bekommen Sie dann?
Man muss das Grundprinzip des Algorithmus verstehen, vor allem auf der Ebene des Blockschemas, wie ich schon sagte. Dann werden Sie verstehen, was was ist, und wenn Sie es verstehen, werden Sie verstehen, was und wie Sie es verbessern können.