Künstliche Intelligenz 2020 - gibt es Fortschritte? - Seite 52
Sie verpassen Handelsmöglichkeiten:
- Freie Handelsapplikationen
- Über 8.000 Signale zum Kopieren
- Wirtschaftsnachrichten für die Lage an den Finanzmärkte
Registrierung
Einloggen
Sie stimmen der Website-Richtlinie und den Nutzungsbedingungen zu.
Wenn Sie kein Benutzerkonto haben, registrieren Sie sich
Apropos Transistoren - auch diese müssen modifiziert werden, damit die analoge Karte funktioniert. Schließlich speichern Transistoren Bits - d.h. "Bits einer Zahl", während Sie die ganze Zahl als Spannung speichern müssen (wie eine Batterie), weil die analoge Zahl die Stromamplitude ist, nicht die Unterbrechung.
Elementar: int: 4 Bytes zu 8 Bits = 32 Bits digitaler Informationen, die in ihrem Zustand (1 oder 0) kodiert sind, ergeben einen Wertebereich von über 4 Milliarden. Wird dies in analoge Form umgewandelt, muss die Amplitudengenauigkeit (Spannung) des Signals 9 Nullen nach dem Dezimalpunkt haben, da sonst das gesendete/empfangene Signal die ursprüngliche Zahl verfälscht.
Wie man das bei einem 22-nm-Kristall macht - ich kann es mir nicht vorstellen, der ist so fein - man kann ihn nicht trimmen...
Es wird also keine hohe Präzision geben, wie es hieß.
Grids können bereits Programme schreiben
Übersetzte allgemeine Informationen über GPT-3: (es gibt Übersetzungsfehler)
Wikipedia:
Generative Pre-trained Transducer 3 (GPT-3) ist ein autoregressives Sprachmodell, das mithilfe von Deep Learning menschenähnlichen Text erzeugt. Es ist die dritte Generation des Sprachvorhersagemodells der GPT-n-Serie, die von OpenAI, einem Forschungslabor für künstliche Intelligenz in San Francisco, entwickelt wurde. [2] Die Vollversion von GPT-3 hat eine Kapazität von 175 Milliarden Parametern für maschinelles Lernen, zwei Größenordnungen mehr als sein Vorgänger GPT-2. [1]: 14 GPT-3, das im Mai 2020 eingeführt wurde und sich seit Juli 2020 im Betatest befindet. [3] ist Teil eines Trends in Systemen zur Verarbeitung natürlicher Sprache (NLP) hin zu "vortrainierten Sprachrepräsentationen". [1] Vor der Veröffentlichung von GPT-3 war das größte Sprachmodell Microsofts Turing NLG, das im Februar 2020 eingeführt wurde, mit zehnmal weniger Bandbreite als GPT-3. [4]
Die Qualität des von GPT-3 erzeugten Textes ist so hoch, dass er nur schwer von einem von Menschen geschriebenen Text zu unterscheiden ist, was sowohl Vorteile als auch Risiken mit sich bringt. [4] Einunddreißig OpenAI-Forscher und -Ingenieure reichten am 28. Mai 2020 ein Quellenpapier ein, in dem das GPT-3 vorgestellt wurde. In ihrem Papier warnten sie vor den potenziellen Gefahren von GPT-3 und forderten Forschungen, um die Risiken zu mindern. [1]: 34 David Chalmers, ein australischer Philosoph, bezeichnete GPT-3 als "eines der interessantesten und wichtigsten KI-Systeme, die je geschaffen wurden. "[5] GPT-3 kann Websites erstellen, Fragen beantworten und Medikamente verschreiben. [6]
Laut The Economist haben verbesserte Algorithmen, leistungsstarke Computer und die Zunahme digitalisierter Daten eine Revolution im Bereich des maschinellen Lernens ausgelöst, wobei neue Techniken in den 2010er Jahren zu "rasanten Verbesserungen bei Aufgaben" geführt haben, einschließlich der Sprachmanipulation [7]. Softwaremodelle werden anhand von Tausenden oder Millionen von Beispielen in einer "Struktur" trainiert ... die lose auf der neuronalen Architektur des Gehirns basieren". [7] Die in der natürlichen Sprachverarbeitung (NLP) am häufigsten verwendete Architektur ist das neuronale Netz. [8] Es basiert auf einem Deep-Learning-Modell, das 2017 erstmals vorgestellt wurde, einem Transformator-Maschinenlernmodell. [8] GPT-n-Modelle basieren auf dieser Deep-Learning-Architektur neuronaler Netze. Es gibt eine Reihe von NLP-Systemen, die in der Lage sind, Fragen zu verarbeiten, zu analysieren, zu organisieren, zu verknüpfen, zu kontrastieren, zu verstehen und Antworten zu generieren [9].
Geschichte:
Am 11. Juni 2018 veröffentlichten OpenAI-Forscher und -Ingenieure ihr Originalpapier über generative Modelle - Sprachmodelle - Systeme der künstlichen Intelligenz, die mit einem riesigen und vielfältigen Textkorpus unter Verwendung von Datensätzen in einem Prozess vortrainiert werden können, den sie generatives Vortraining (GP) nennen. [10] Die Autoren beschrieben, wie die Sprachverstehensleistung in der natürlichen Sprachverarbeitung (NLP) durch generatives Pre-Training (GPT-n) verbessert wurde, und zwar durch ein "generatives Pre-Training eines Sprachmodells auf einem vielfältigen Korpus von unmarkiertem Text, gefolgt von diskriminativen Anpassungen an jede spezifische Aufgabe". Auf diese Weise entfielen die menschliche Aufsicht und die zeitaufwändige manuelle Beschriftung [10].
Im Februar 2020 stellte Microsoft seine Turing Natural Language Generation (T-NLG) vor, die damals mit 17 Milliarden Parametern "das größte jemals veröffentlichte Sprachmodell" war. [11] Es schnitt bei einer Reihe von Aufgaben, darunter das Zusammenfassen von Texten und das Beantworten von Fragen, besser ab als jedes andere Sprachmodell.
Fähigkeiten:
In einem arXiv-Preprint vom 28. Mai 2020 beschreibt ein Team von 31 OpenAI-Ingenieuren und -Forschern die Entwicklung eines "modernen Sprachmodells" namens GPT-3 [1][4] oder Generative Pretrained Transformer 3, ein Sprachmodell der dritten Generation. Dem Team ist es gelungen, die Kapazität von GPT-3 im Vergleich zu seinem Vorgänger GPT-2 um mehr als zwei Größenordnungen zu steigern, was GPT-3 zum bisher größten nicht-darstellenden Sprachmodell macht. [1]: 14 [2] Die größere Anzahl von Parametern des GPT-3 bietet ein höheres Maß an Genauigkeit als frühere Versionen mit geringerer Kapazität. [12] Der GPT-3 ist zehnmal so leistungsfähig wie der Microsoft Turing NLG. [4]
Sechzig Prozent des gewichteten Pre-Training-Datensatzes für GPT-3 stammen aus einer gefilterten Version von Common Crawl, die aus 410 Milliarden paarweise codierten Token besteht. [1]: 9 Weitere Quellen sind 19 Milliarden Token aus WebText2, was einer gewichteten Summe von 22 % entspricht, 12 Milliarden Token aus Book1, was 8 % entspricht, 55 Milliarden Token aus Book2, was 8 % entspricht, und 3 Milliarden Token aus Wikipedia, was 3 % entspricht. [1]: 9 GPT-3 wurde auf Hunderte von Milliarden von Wörtern trainiert und ist in der Lage, in CSS, JSX, Python usw. zu kodieren. [3] Da die Trainingsdaten von GPT-3 umfangreich waren, war kein weiteres Training für verschiedene Sprachaufgaben erforderlich. [3]
Am 11. Juni 2020 kündigte OpenAI an, dass Nutzer Zugang zur benutzerfreundlichen GPT-3-API beantragen können, einer "Suite von Werkzeugen für maschinelles Lernen", die OpenAI dabei helfen soll, "die Stärken und Schwächen" dieser neuen Technologie zu erkunden [13][14]. In der Einladung wurde diese API als eine universelle Texteingabe- und -ausgabeschnittstelle beschrieben, mit der anstelle des üblichen Einzelfalls fast "jede englischsprachige Aufgabe" erledigt werden kann. [13] Laut einem Benutzer, der Zugang zu einer geschlossenen frühen Version der OpenAI GPT-3 API hatte, ist GPT-3 "erschreckend gut" im Schreiben von "erstaunlich kohärentem Text" mit nur ein paar einfachen Eingabeaufforderungen [15].
Da GPT-3 "Nachrichtenartikel generieren kann, die von menschlichen Auswertern nur schwer von von Menschen geschriebenen Artikeln unterschieden werden können" [4], hat GPT-3 "das Potenzial, sowohl nützliche als auch schädliche Anwendungen von Sprachmodellen zu fördern" [1]: 34 In ihrem Artikel vom 28. Mai 2020 gehen die Forscher detailliert auf die potenziellen "schädlichen Auswirkungen von GPT-3" [4] ein, zu denen "Fehlinformationen, Spam, Phishing, Missbrauch rechtlicher und behördlicher Verfahren, betrügerische akademische Aufsätze und Social-Engineering-Vorwände" gehören. "[1]. Die Autoren machen auf diese Gefahren aufmerksam und fordern Forschung zur Risikominderung. [1]:
Das neue GPT-3 von OpenAI.
Wir veröffentlichen eine API für den Zugriff auf die neuen, von OpenAI entwickelten KI-Modelle. Im Gegensatz zu den meisten KI-Systemen, die für einen einzigen Anwendungsfall konzipiert sind, bietet die heutige API eine universelle Eingabe-/Ausgabeschnittstelle, die es den Nutzern ermöglicht, sie für fast jede englischsprachige Aufgabe auszuprobieren. Sie können jetzt Zugang beantragen, um die API in Ihr Produkt zu integrieren, eine völlig neue Anwendung zu entwickeln oder uns dabei zu helfen, die Stärken und Schwächen der Technologie zu untersuchen.
Bei jeder Textanfrage gibt die API die Vervollständigung des Textes zurück und versucht, das von Ihnen angegebene Muster zu erfüllen. Sie können es "programmieren", indem Sie ihm nur einige Beispiele für die gewünschte Aufgabe zeigen; der Erfolg hängt in der Regel davon ab, wie komplex die Aufgabe ist. Die API ermöglicht es Ihnen auch, die Leistung bei bestimmten Aufgaben zu optimieren, indem Sie die von Ihnen bereitgestellten (kleinen oder großen) Datensätze trainieren oder von Benutzern oder Entwicklern lernen.
Wir haben die API so konzipiert, dass sie einfach zu bedienen und flexibel ist, damit Teams für maschinelles Lernen produktiver arbeiten können. Viele unserer Teams nutzen die API, um sich auf die Forschung im Bereich des maschinellen Lernens und nicht auf Probleme mit verteilten Systemen konzentrieren zu können. Heute bringt API Modelle mit Gewichten aus der GPT-3-Familie auf den Markt, die zahlreiche Verbesserungen in Bezug auf Geschwindigkeit und Durchsatz aufweisen. Das maschinelle Lernen entwickelt sich sehr schnell weiter, und wir aktualisieren unsere Technologie ständig, um unsere Nutzer auf dem neuesten Stand zu halten.
Das Tempo des Fortschritts in diesem Bereich bedeutet, dass es oft unerwartete neue Anwendungen der KI gibt, sowohl positive als auch negative. Wir werden den API-Zugang für bekannte bösartige Zwecke wie Stalking, Spamming, Radikalisierung oder Astroturfing unterbinden. Wir wissen aber auch, dass wir nicht alle möglichen Folgen dieser Technologie vorhersehen können. Deshalb starten wir heute eine private Betaversion statt einer öffentlichen, entwickeln Tools, mit denen die Nutzer die von unserer API zurückgegebenen Inhalte besser kontrollieren können, und untersuchen Sicherheitsfragen. Wir werden unsere Erkenntnisse weitergeben, damit unsere Nutzer und die breitere Gemeinschaft menschlichere Systeme der künstlichen Intelligenz entwickeln können.
Die API ist nicht nur eine Einnahmequelle, die uns hilft, unsere Kosten zu decken, während wir unsere Mission verfolgen, sondern sie hat uns auch dazu gebracht, uns auf die universelle Technologie der künstlichen Intelligenz zu konzentrieren - die Technologie voranzutreiben, ihre Verwendung sicherzustellen und ihre Auswirkungen in der realen Welt zu berücksichtigen. Wir hoffen, dass die API die Hürde für die Entwicklung nützlicher Produkte der künstlichen Intelligenz deutlich senken und zu Werkzeugen und Dienstleistungen führen wird, die heute nur schwer vorstellbar sind.
Sind Sie daran interessiert, mehr über APIs zu erfahren? Schließen Sie sich Unternehmen wie Algolia, Quizlet und Reddit sowie Forschern von Organisationen wie dem Middlebury Institute in unserer privaten Beta an.
Wenn Sie GPT-3 heute ausprobieren möchten, müssen Sie sich auf die OpenAI-Whitelist setzen lassen. Aber die Anwendungsmöglichkeiten für dieses Modell scheinen endlos zu sein - angeblich kann man damit eine SQL-Datenbank in einfachem Englisch abfragen, automatisch Code kommentieren, automatisch Code erstellen, ausgefallene Artikeltitel schreiben, virale Tweets verfassen und vieles mehr.
Aber was steckt eigentlich unter der Haube dieses unglaublichen Modells? Hier ein (kurzer) Blick ins Innere
GPT-3 ist ein auf einem neuronalen Netz basierendes Sprachmodell. Ein Sprachmodell ist ein Modell, das die Wahrscheinlichkeit vorhersagt, dass ein Satz in der Welt existiert. Ein Sprachmodell könnte zum Beispiel den Satz "Ich gehe mit meinem Hund spazieren" als wahrscheinlicher (d. h. online) markieren als den Satz "Ich gehe mit meiner Banane spazieren". Dies gilt sowohl für Sätze als auch für Phrasen und ganz allgemein für jede beliebige Folge von Zeichen.
Wie die meisten Sprachmodelle wird GPT-3 auf elegante Weise auf einem unbeschrifteten Satz von Textdaten trainiert (in diesem Fall umfassen die Trainingsdaten unter anderem Common Crawl und Wikipedia). Wörter oder Phrasen werden nach dem Zufallsprinzip aus dem Text entfernt, und das Modell muss lernen, diese zu füllen, indem es nur die umgebenden Wörter als Kontext verwendet. Dies ist eine einfache Lernaufgabe, die zu einem leistungsfähigen und vielseitigen Modell führt.
Die Architektur des GPT-3-Modells selbst ist ein auf Transformatoren basierendes neuronales Netz. Diese Architektur wurde vor etwa 2-3 Jahren populär und war die Grundlage des beliebten BERT NLP-Modells und des Vorgängers von GPT-3, GPT-2. In Bezug auf die Architektur ist GPT-3 eigentlich nicht sehr neu!
Was macht sie so besonders und magisch?
Es ist wirklich groß. Ich meine wirklich groß. Mit 175 Milliarden Parametern ist es das größte Sprachmodell, das jemals erstellt wurde (eine Größenordnung größer als sein nächster Konkurrent!) und es wurde auf dem größten Datensatz aller Sprachmodelle trainiert. Dies scheint der Hauptgrund zu sein, warum GPT-3 so beeindruckend "intelligent" und menschlich klingt.
Aber jetzt kommt der wirklich magische Teil. Dank seiner schieren Größe kann der GPT-3 das, was kein anderes Modell (gut) kann: bestimmte Aufgaben ohne besondere Konfiguration erfüllen. Sie können das GPT-3 bitten, ein Übersetzer, Programmierer, Dichter oder berühmter Autor zu sein, und es kann dies tun, wenn sein Benutzer (Sie) weniger als 10 Trainingsbeispiele liefert. Das ist Scheiße.
Das ist es, was GPT-3 so faszinierend für Praktiker des maschinellen Lernens macht. Andere Sprachmodelle (wie BERT) erfordern eine komplexe Feinabstimmung, bei der Sie Tausende von Beispielen von (z. B.) französisch-englischen Satzpaaren sammeln, um dem Modell beizubringen, wie es die Übersetzung durchführen soll. Um ein BERT auf eine bestimmte Aufgabe zuzuschneiden (z. B. Übersetzung, Zusammenfassung, Spam-Erkennung usw.), müssen Sie einen großen Trainingsdatensatz (in der Größenordnung von Tausenden oder Zehntausenden von Beispielen) finden, was je nach Aufgabe umständlich oder unhandlich sein kann. manchmal sogar unmöglich. Mit GPT-3 entfällt dieser Schritt der Feinabstimmung. Das ist das Wesentliche. Das ist es, was die Leute an GPT-3 reizt: anpassbare Sprachaufgaben, ohne Daten zu lernen.
GPT-3 befindet sich heute in der privaten Beta-Phase, aber ich kann es kaum erwarten, es in die Finger zu bekommen.
Dieser Artikel wurde von Dale Markowitz verfasst, einer Ingenieurin für angewandte künstliche Intelligenz bei Google mit Sitz in Austin, Texas, wo sie an der Anwendung des maschinellen Lernens auf neue Bereiche und Branchen arbeitet. Außerdem liebt sie es, die Probleme ihres Lebens mit KI zu lösen und spricht darüber auf YouTube.
Ehrlich gesagt bin ich von diesem GPT-3 überwältigt. Coole Sache.))))
Aber es kommt noch etwas viel Cooleres, und zwar schon bald. Warum? Denn GPT-3 ist verdammt ineffizient, was die Effizienz angeht.
Keiner von uns, der Milliarden von Wortkombinationen in seinen Kopf gepaukt hat und das Internet durchforstet, kann Bücher schreiben, logisch und kritisch denken und unermesslich komplexere und mehrdeutige Probleme lösen. Wie?
Das menschliche Lernen ist eine andere Ebene der Informationsaufnahme und -verarbeitung. Dem GPT-3 fehlt etwas, wie ein Grundgerüst, ein Archetyp, ein interner Motor... und es ist nicht klar, was sonst noch...
Der Lernansatz dieses Netzes ist im Vergleich zum menschlichen Lernen fehlerhaft, und wir müssen herausfinden, woran das liegt.
Ehrlich gesagt bin ich von diesem GPT-3 überwältigt. Coole Sache. ))))
Die Algorithmen sind nicht neu, aber die Leistung bietet neue Möglichkeiten und ein neues Niveau der Modellqualität. 175 Yds sind keine 5000 Wörter))))
Die Algorithmen sind nicht neu, aber die Leistung bietet neue Möglichkeiten und ein neues Niveau der Modellqualität. 175 Yards sind keine 5000 Wörter))))
Das ist es ja, ich habe nichts Neues über die Algorithmen gehört. Alle diese Netztrainingsmethoden waren bereits vorhanden - der einzige Unterschied ist der Umfang.
Ich habe versucht, Videobeispiele zu finden, die zeigen, wie es funktioniert, und das hier hat mich beeindruckt:https://twitter.com/sharifshameem
Auf diese Weise wird eine Schnittstelle auf der Grundlage einer verbalen Beschreibung zusammen mit einer Teilfunktionalität erstellt. Zuerst dachte ich, es sei Unsinn, aber als ich genauer hinsah, wurde mir klar, dass ich mich geirrt hatte. Allerdings konnte ich die Grenzen der Möglichkeiten immer noch nicht ganz verstehen.
Der Anwendungsbereich des GPT-3 ist unklar.