Marktknigge oder gute Manieren im Minenfeld - Seite 19

 
paralocus >> :

Das ist der springende Punkt:

1. Eine andere Möglichkeit, das System zu infizieren, besteht darin, einen zusätzlichen zufälligen Input in ein Neuron oder eine Gruppe von Neuronen - das Organ - einzuführen.

2. Ein "Organ" kann als eine spezialisierte Gruppe von Neuronen mit einer universellen Rückkopplung dargestellt werden - d.h. jedes Organneuron "weiß", was in der Ausgabe eines anderen Neurons seiner Gruppe (Organ oder Familie) enthalten ist, und jede Gruppe weiß, was in der Ausgabe des Organs enthalten ist. Ein solches NS wird zur dynamischen Selbstanpassung fähig sein, und die Notwendigkeit des Lernens wird eines seiner Hauptmerkmale sein - d. h. das System kann zielgerichtet und selbstmotiviert das Wissen suchen und verallgemeinern, das es benötigt. Unsere Aufgabe wird es sein, ihm Hindernisse in den Weg zu legen und hier und da ein wenig Wissen zu verstreuen -:)

Eine Sackgasse - wenn alles richtig gemacht wird (bei der Organisation und dem Training des Netzes), dann wird der Körper nach einer bestimmten Anzahl von Trainingsiterationen isoliert sein.


Eine andere Sache - "infizieren" Sie den Lernprozess, indem Sie eine relativ kleine Zufallskomponente in die Deltaregel einführen, dies wird die Lernrate in einigen Fällen erhöhen und auch effektiv aus lokalen Minima herauskommen. Dies ist bereits eine bewährte Methode.

 
TheXpert >> :

Eine Sackgasse - wenn alles richtig gemacht wird (bei der Organisation und dem Training des Netzes), dann wird der Körper nach einer bestimmten Anzahl von Trainingsiterationen isoliert sein.



Du machst es nicht richtig...

Ein Organ ist ein Organ, damit die Leber die Funktion der Milz nicht beeinträchtigt. Das Netzwerk wird nicht alle Organe isolieren, da dies eine kritische Entropiereduktion für das Netzwerk darstellt - "Tod".

Wenn etwas herunterfällt, war es unnötig.

 
paralocus писал(а) >>

Das Hauptthema dieses Threads habe ich bereits zu schätzen gelernt! -:) Du bist ein Genie und ich mache keine Witze!

Ich habe eine Idee. Möglicherweise eine neue. Gestern Abend hatte ich einen "Kurzschluss"... auf allen Ebenen meines persönlichen neuronalen Netzes).

Die Sache ist die, dass ich mich mein ganzes Leben lang mit dem Menschen beschäftigt habe, und zwar nicht nur im Zusammenhang mit seiner sozialen und persönlichen Verwirklichung - denn all das ist "Oberfläche" - sondern als ganzheitliches Phänomen des Seins und "Gefäß des Bewusstseins". Heute, in einer Nacht, ist alles, was sich über viele Jahre angesammelt hat, von einer einfachen, geordneten Sammlung von Fakten und Annahmen zu einer eigenständigen Integrität systematisiert (selbstorganisiert) worden.

Ich kann meine Aufregung nicht verbergen! Oh, nun... Das war eine lyrische Abschweifung.

Die Idee ist einfach:

Um die Robustheit von NSs jeglicher Größenordnung oder Zielsetzung zu erhöhen, muss man versuchen, sie zu infizieren... sie infizieren. Für die deterministische Logik einer Turing-Maschine ist ein Virus sicherlich tödlich - für NS und künstliche Intelligenz kann er sich bei richtiger, "dosierter" Anwendung als "lebendiges Wasser" erweisen. Lassen Sie uns nun eins nach dem anderen besprechen:

1. Alle lebenden Organismen sind die Essenz neuronaler Netze. Diese Behauptung mag zu kühn erscheinen, aber sie ist eine phänomenologische Tatsache.

2. Alle lebenden Organismen werden zum Zweck des Lernens in ein aggressives Umfeld gestellt - wir nennen das Evolution. Wir müssen uns nur daran erinnern, dass mit der Entwicklung der Formen auch die Entwicklung des individuellen Bewusstseins, das in diesen Formen verkörpert ist, fortschreitet. Das Bewusstsein selbst ist ein Effekt der Komplexität des Systems (neuronales Netzwerk), und sein evolutionärer "Planck" - :), nehme ich an - ist das Verhältnis der Komplexität des Systems zur Entropie des Systems.

3. Systeme, deren Entropie unter eine bestimmte Grenze gesunken ist, sterben aus, weil sie sich nicht mehr weiterentwickeln können; Systeme, deren Entropie über eine bestimmte Grenze gestiegen ist, zerstören sich jedoch auch selbst. Daraus ergibt sich die Schlussfolgerung: Damit sich ein System erfolgreich weiterentwickeln kann, muss seine Entropie in regelmäßigen Abständen für eine bestimmte Zeitspanne die maximal zulässigen Werte des jeweiligen Systems erreichen. Einen solchen Zustand nennen wir "Krankheit". Wenn ich das Wort "Krankheit" sage, meine ich das in einem ziemlich weiten Sinne - ein ganz gesund aussehender Krimineller ist ein kranker Mensch. Nur ist es nicht sein Körper, der krank ist, sondern sein Geist und der Schmerz, den er empfängt, meist nicht in Form von Fieber oder Grippe, sondern in Form eines so genannten "schweren Kreuzes", "Schicksals" und so weiter. Dieser "soziale" Schmerz, den sie erleiden, ist jedoch eine Art lehrender Einfluss des evolutionären Kontinuums - er hebt die Entropie des Lebewesens auf ein kaum erträgliches Maß. Dies wirft eine philosophische Frage über den Lehrer und seine Ziele auf... die jedoch den Rahmen unserer Forumsdiskussion bei weitem sprengen würde -:)

4. diejenigen, die überleben, haben Immunität entwickelt - im weitesten Sinne - d.h. nicht nur gegen pathogene Keime und soziale, sondern, was für die Evolution noch wichtiger ist, transaktionale externe und transaktionale interne.

5. In jedem lebenden System gibt es solche "Keime", die es mit Sicherheit töten werden, wenn seine Immunität ausreichend geschwächt ist. Warum hat die Natur das getan? Genau zu dem Zweck, die Fähigkeit desselben Systems zu erhöhen, den Faktoren der Umwelt durch ständiges internes "Training" des Systems zum Überleben zu widerstehen und folglich mehr Möglichkeiten (Zeit) für die Fortsetzung der individuellen Evolution zu haben.

6. Gehen wir davon aus, dass die Aufgabe eines sich entwickelnden Systems darin besteht, Immunität (im wahrsten Sinne des Wortes) zu entwickeln. Dann stellt sich etwas Interessantes heraus: Die Anzahl der Eingänge von lebenden NS sowie die Anzahl der Ausgänge (noch weniger) ist lächerlich klein im Vergleich zur Anzahl ihrer Neuronen und Verbindungen! D.h. wir erhöhen die Anzahl der Neuronen in der Zwischenschicht stark (wenn es drei Schichten gibt - Eingabe, versteckte Schicht und Ausgabe), und nun können wir versuchen, die NS zu "infizieren". Dies kann durch die Einführung eines dosierten Zufallsfehlers bei der Korrektur der Gewichte erreicht werden! Und wenn man noch etwas weiter geht, ist ein alternatives Training des NS durch Erhöhung oder Verringerung der Häufigkeit oder Amplitude dieses zufälligen Fehlers möglich.

Zum Beispiel könnte man vor der Korrektur der Gewichte versuchen, dem Korrektor einen kleinen Fehler mit einer Funktion hinzuzufügen, die (zufällig) einmal in 1000 Aufrufen einen zufälligen Wert aus einem bestimmten Bereich (z.B. +0,01 / -0,01 ) zurückgibt. Es ist nicht bekannt, wann oder welches Neuron einen kleinen fehlerhaften Inkrementwert erhält. Je häufiger solche Inkremente auftreten, desto höher ist die Entropie des Systems. In diesem Fall muss die NS-Regierung Folgendes berücksichtigen... seinen eigenen Fehler!

Dies ist ein weiterer wichtiger Punkt:

1. Eine weitere Variante der Systemkontamination - Einführung eines zusätzlichen zufälligen Inputs in ein Neuron oder eine Gruppe von Neuronen - ein Organ.

2. Ein "Organ" kann als eine spezialisierte Gruppe von Neuronen dargestellt werden, die eine universelle Rückkopplung haben - d.h. jedes Organneuron "weiß", was am Ausgang jedes anderen Neurons seiner Gruppe (Organ oder Familie) ist, und jede Gruppe weiß, was am Ausgang des Organismus ist. Ein solches NS wird zur dynamischen Selbstanpassung fähig sein, und die Notwendigkeit des Lernens wird eines seiner Hauptmerkmale sein - d. h. das System kann zielgerichtet und selbstmotiviert das Wissen suchen und verallgemeinern, das es benötigt. Unsere Aufgabe wird es sein, Hindernisse zu errichten und hier und da ein wenig Wissen zu verstreuen -)

+5

Ich habe auch schon über so etwas nachgedacht. Bei der Arbeit mit KI ergeben sich viele interessante und nicht triviale Abhängigkeiten.

Vor nicht allzu langer Zeit wurde mir zum Beispiel klar, warum wir Träume brauchen... Es stellt sich heraus, dass unser Gehirn während des Schlafs die Synapsen trainiert, indem es erlebt, was wir zuvor gesehen haben, und so ihre unvermeidliche Dystrophie beseitigt (es handelt sich um ein biologisches Objekt, in dem ständig Austauschprozesse ablaufen und sich Fehler ansammeln). Hätten wir keinen Schlaf, hätten wir in einem Jahr alle kognitiven Fähigkeiten und das Langzeitgedächtnis verloren! - Wir wären auf einfache Dinge reduziert worden, die sich nur an das erinnern können, was sie sehen. Mächtige Erlebnisse (im Zusammenhang mit lebensverändernden Ereignissen) suchen uns immer wieder im Schlaf heim und zementieren so nützliches Wissen mit der Axt.

 
Neutron >> :

Mächtige Erfahrungen (im Zusammenhang mit lebensverändernden Ereignissen) suchen uns immer wieder in unseren Träumen heim und zementieren so nützliches Wissen mit einer Axt.

Nun, das ist überschaubar. Der Kontext des Lernens muss nicht zwangsläufig negativ sein. Für ein System, das "begriffen" hat, was von ihm erwartet wird, und dieses Ziel als sein eigenes "akzeptiert" hat (als sein primäres Ziel = Sinn des Lebens), hören Träume auf, Alpträume zu sein, und im Traum kann das Lernen mit sehr hoher Geschwindigkeit fortgesetzt werden.

 
Neutron Ich denke, wenn wir vollständig zum Lernen durch Manipulation der Entropie des Systems übergehen, werden die lokalen Minima als Klasse verschwinden. Das Training kann jedoch sehr viel mehr Epochen erfordern, und nicht jedes Gitter wird in der Lage sein, es zu absolvieren. Aber die, die es können... Ich kann mir nicht einmal vorstellen, wozu sie fähig sein werden.
 
Neutron >> :


Neutron, ich möchte immer noch über die Aufhellung der Eingänge sprechen und darüber, den Fehler auch auf die nächsten Ebenen zu übertragen

 

Hallo, Paralocus.

Ich spiele gerade mit Matkads Zig-Zag herum - (irgendwo in meinem Kopf ist ein Fehler) und gleichzeitig normalisiere ich die Eingabedaten für den NS. Hier ist, was ich beim letzten Mal bekommen habe: Angenommen, wir haben Eingabedaten mit einer beliebigen Verteilung von Inkrementen, die auf der Ganzzahllinie definiert sind. Wir müssen einen Algorithmus finden, der diese Verteilung auf einen +/-1-Bereich mit einer geschützten Wahrscheinlichkeitsdichtefunktion (SP) abbildet.

Nehmen wir als Beispiel die EURUSD-1m-Serie und stellen wir die SP-Verteilung der Differenz d[i]=Open[i]-Open[i+1] links dar:

Wir haben eine gute Exponentialverteilung erhalten und werden sie in ein Einheitsregal umwandeln. Dazu konstruieren wir die PDF von SP, indem wir einfach die kommutative Summe von SP finden (Abb. rechts) und jeden Zweig an 1 anpassen, wobei wir das Vorzeichen des Zweigs berücksichtigen (nachdem wir die Kurve zuvor um den entsprechenden Wert auf "Null" beim Maximum der SP-Verteilung verschoben haben). Wir erhielten ein sigmoidales Muster. Nun nehmen wir die anfängliche Reihe von Inkrementen und bearbeiten sie mit unserem Sigmoid als Operator, der sie auf ein Einheitsregal abbildet. Dazu ersetze ich einfach den Inkrementwert d[i] als Argument des resultierenden Sigmoid:

Das Ergebnis ist nicht genau wie ein Regal, aber nahe dran. Vergleichen Sie sie mit der ursprünglichen Verteilung. Der Abstand in der Mitte der sich ergebenden Verteilung ist unvermeidlich, weil wir irgendwo strecken müssen, um sie dicker zu machen. Ich denke, das ist ein perfekter Input-Cocktail für NS.

P.S. Ich frage mich, warum es kein perfektes Regal geworden ist. Ist dies grundsätzlich unmöglich und eine Einschränkung der Methode, oder übersehe ich etwas in der Konstruktion?

 
Juhu! Ich hatte Angst, du würdest plötzlich das Interesse verlieren... -:)

Ich werde dem, was Sie geschrieben haben, auf den Grund gehen und es beantworten.

 
Neutron >> :

P.S. Ich frage mich, warum es kein perfektes Regal gibt. Ist dies grundsätzlich unmöglich und eine Einschränkung der Methode, oder übersehe ich etwas in der Konstruktion?

Ich habe gestern auch darüber nachgedacht... (natürlich nicht so mathematisch wie Sie - ich kann es einfach nicht so machen), aber im Allgemeinen habe ich den Verdacht, dass es einen Grund dafür gibt! Sie verpassen also nichts.

Es gibt eine Besonderheit bei den Eigenschaften d[i]=Offen[i]-Offen[i+1]. Es gibt eine intuitive Vermutung, dass wir in diesem Fall einen fraktalen BP als Input haben, der sorgfältig von einem kontinuierlichen Operator (z. B. th(x) oder Sigmoid) beeinflusst wird, so dass ein ideales Regal nicht funktionieren wird - die Wahrscheinlichkeitsverteilung Open[i]-Open[i+1] ist höchstwahrscheinlich Hurstian. Ich habe ein gröberes Exemplar, bei dem die mittlere - 0 ganz fehlt. Übrigens, warum nehmen Sie Orap?

 

Ich mag es nicht, an etwas herumzufummeln, das noch nicht geformt ist. Das ist eine Angewohnheit von Matkad, es ist wie zwei Finger auf dem Bürgersteig, um beim Testen des TS in eine ungewollte Zukunft zu "schauen"! Die einzige Garantie dafür sind gebildete Balken oder Eröffnungspreise. Sie hüpfen sicher nicht.

Geben Sie mir einen Hinweis: Was ist Ihr Problem mit der Korrelation der Eingangssignale? Was verwenden Sie als Eingabe und warum besteht das Problem Ihrer Meinung nach? Schließlich ist es einfacher, sich zu vergewissern, dass es das Problem nicht gibt, als es zu lösen :-)

Grund der Beschwerde: