Diskussion zum Artikel "Random-Forest-Vorhersage-Trends" - Seite 10
Sie verpassen Handelsmöglichkeiten:
- Freie Handelsapplikationen
- Über 8.000 Signale zum Kopieren
- Wirtschaftsnachrichten für die Lage an den Finanzmärkte
Registrierung
Einloggen
Sie stimmen der Website-Richtlinie und den Nutzungsbedingungen zu.
Wenn Sie kein Benutzerkonto haben, registrieren Sie sich
Übertraining ist ein gut etablierter und sehr spezifischer Begriff. Sie ersetzen ihn nicht nur, sondern erklären auch nicht, was er in Ihrem Verständnis bedeutet.
Das erinnert mich in der Art der Kommunikation sehr an Sulton).
Beim Modelltraining extrahiert das Modell die Essenz des Prozesses, im Fachjargon "Muster", die nicht nur in der Trainingsstichprobe, sondern auch außerhalb der Trainingsstichprobe auftreten.
Von Übertraining (Überanpassung) spricht man, wenn das Modell anfängt, Zufälligkeiten herauszufiltern, die außerhalb der Trainingsstichprobe nicht vorhanden sind, und das Modell deshalb einen Fehlerwert liefert, der sich stark vom Trainingsfehler unterscheidet.
Viele Leute in diesem Forum haben mit Übertraining zu kämpfen (vielleicht ohne es zu merken), da es sehr einfach ist, mit Hilfe der Optimierung im Tester einen übertrainierten EA zu erhalten.
Aber das ist alles nur Philosophie.
Die Realität liegt in der spezifischen Fähigkeit, in den Werkzeugen, die in diesem Prozess verwendet werden.
Mit meinem Artikel und meinem Buch versuche ich nicht, das Problem des Übertrainings zu lösen, sondern nur die Tür zur Welt der prädiktiven Modelle zu öffnen, die (Modelle) lehren, qualitativ hochwertige Dinge in der Zukunft vorherzusagen. Hätte der geschätzte gpwr ein paar Stunden mit Rattle verbracht, wären seine Fragen viel gehaltvoller gewesen, ohne zu zeigen, dass er sich nicht die Mühe gemacht hat, meinen Artikel zu lesen, sondern eine Meinung über dessen Inhalt hat. Vor allem aber deckt Rattle den gesamten Prozess der Erstellung sehr komplexer Modelle ab, einschließlich der Schätzung der Leistung von Out-of-Sample-Modellen, der Liste signifikanter Prädiktoren, der Anzahl der gefundenen Muster ..... Ich verwende Rattle immer noch, obwohl die eigentlichen Modelle anders sind. Nur um es herauszufinden, eine Idee zu testen..... 20-30 Minuten und die Entwicklungsrichtung kann sich radikal ändern.
Ein sehr begrenztes Ziel.
Zusätzlich zu dem Artikel und dem Buch biete ich bezahlte Dienstleistungen an. Und es liegt an jedem selbst zu entscheiden, ob ich die notwendigen Qualifikationen habe, um die ausgeschriebene Liste von Arbeiten auszuführen. Und ich entscheide, bevor ich einen bestimmten Auftrag annehme, ob der Kunde in der Lage ist, das Ergebnis meiner Arbeit zu verstehen.
1. eine relativ große Menge von Prädiktoren bilden, z. B. 50 Stück mit einer Anzahl von 15000 Balken
2. Mit einem der oben genannten Algorithmen wählen wir Prädiktoren für diese 15 Tausend Balken aus - wir erhalten in der Regel 15 bis 20 Stück, die bei der Modellbildung häufiger als in 20% der Fälle verwendet werden.
3. Dann nehmen wir ein kleineres Fenster, z. B. 2000 Balken, und beginnen, es einen Balken nach dem anderen zu verschieben, wobei wir signifikante Prädiktoren aus den zuvor ausgewählten 20 von 50 auswählen.
4. Die spezifische Liste der signifikanten Prädiktoren ändert sich ständig.
1. wie? Benötigen Sie 60 Jahre Tagesverlauf?
2. Sie schauen in die Zukunft, verehrtes Publikum. Sie wählen 15-20 Prädiktoren aus der gesamten Historie aus und überprüfen sie dann an der "untrainierten" Stichprobe der gleichen 15000 Balken? Wenn mir heute jemand sagen würde, welche 15-20 Prädiktoren in der Zukunft "abgetastet" werden, bräuchte ich nichts weiter, um Milliardär zu werden.
Ich benutze MatLab. Dort gibt es viele verschiedene Toolboxen. Sie brauchen also nicht davon auszugehen, dass ich Ihre Methoden nicht kenne. Sie sollten auch nicht annehmen, dass ich einen oberflächlichen oder dilitanten Ansatz habe (das denke ich nur über Ihren Ansatz). Jeder kann verschiedene Pakete und Toolboxen verwenden. Aber nicht jeder kann ihre Essenz verstehen. Und Sie müssen nicht für Ihre Dienste und Ihr Buch bei mir werben. Meine Probleme sind viel komplizierter als die Definition von Übertraining. Ich habe 10.000 Wirtschaftsindikatoren - Prädiktoren - und es ist sehr schwierig, diejenigen auszuwählen, die den Markt beeinflussen. Wenn ich jeden Prädiktor einzeln durchgehe, verpasse ich Situationen wie mein obiges Beispiel, wenn die Zielreihe nicht mit einem der Prädiktoren übereinstimmt, dieser Prädiktor aber im Modell der Zielreihe enthalten ist. Wenn Sie alle möglichen Kombinationen verschiedener Prädiktoren durchgehen, haben Sie dafür nicht genug Zeit. Selbst die Suche nach zwei Prädiktoren aus 10.000 dauert mehr als eine Woche. Bislang habe ich ein biologisches, sich selbst beschneidendes Netzwerk (es dauert lange, das zu erklären, man braucht etwas Training, um es zu verstehen), um N relevante Variablen auszuwählen. Dieses Netz ist schneller als die Suche nach allen möglichen Kombinationen von Prädiktoren, aber immer noch langsam. Wenn Sie also eine brillante Idee haben, wie man feststellen kann, dass x1 Teil des y-Modells ist, indem man nur y und x1 in meinem Beispiel betrachtet, gebe ich Ihnen eine Goldmedaille.
1. wie ist das? 60 Jahre Alltagsgeschichte sind nötig?
2. Sie schauen in die Zukunft, Verehrter. Sie wählen 15-20 Prädiktoren aus der gesamten Historie aus und überprüfen sie dann an der "untrainierten" Stichprobe der gleichen 15000 Balken? Wenn mir heute jemand sagen würde, welche 15-20 Prädiktoren in der Zukunft "abgetastet" werden, bräuchte ich nichts weiter, um Milliardär zu werden.
Ich benutze MatLab. Dort gibt es viele verschiedene Toolboxen. Sie brauchen also nicht davon auszugehen, dass ich Ihre Methoden nicht kenne. Sie sollten auch nicht annehmen, dass ich einen oberflächlichen oder dilitanten Ansatz habe (das denke ich nur über Ihren Ansatz). Jeder kann verschiedene Pakete und Toolboxen verwenden. Aber nicht jeder kann ihre Essenz verstehen. Und Sie müssen nicht für Ihre Dienste und Ihr Buch bei mir werben. Meine Probleme sind viel komplizierter als die Definition von Übertraining. Ich habe 10.000 Wirtschaftsindikatoren - Prädiktoren - und es ist sehr schwierig, diejenigen auszuwählen, die den Markt beeinflussen. Wenn ich jeden Prädiktor einzeln durchgehe, verpasse ich Situationen wie mein obiges Beispiel, wenn die Zielreihe nicht mit einem der Prädiktoren übereinstimmt, dieser Prädiktor aber im Modell der Zielreihe enthalten ist. Wenn Sie alle möglichen Kombinationen verschiedener Prädiktoren durchgehen, haben Sie dafür nicht genug Zeit. Selbst die Suche nach zwei Prädiktoren aus 10.000 dauert mehr als eine Woche. Bisher habe ich ein biologisches Self-Pruning-Netzwerk für die Auswahl von N relevanten Variablen entwickelt (lange Erklärung, man braucht etwas Übung, um es zu verstehen). Dieses Netz ist schneller als die Suche nach allen möglichen Kombinationen von Prädiktoren, aber immer noch langsam. Wenn Sie also eine brillante Idee haben, wie man feststellen kann, dass x1 Teil des y-Modells ist, indem man nur y und x1 in meinem Beispiel betrachtet, werde ich Ihnen eine gute Idee geben.
1. wie ist das? 60 Jahre Tagesgeschichte nötig?
Lassen Sie uns nicht übertreiben.
Ich arbeite im Devisenhandel. Ich sage Trends voraus und bin mit Trends zufrieden, die 50-100 Pips Umkehrungen aufweisen. Dafür brauche ich keinen Tagesverlauf. In meinen Beispielen ist das H1, 18000 sind drei Jahre.
2. Sie schauen in die Zukunft, Verehrter. Wählen Sie 15-20 Prädiktoren aus der gesamten Historie aus und testen sie dann an einer "ungeübten" Stichprobe derselben 15000 Bars?
Das habe ich bereits erklärt. Es ist sehr wünschenswert, dass Sie lesen, was ich Ihnen persönlich erkläre. Ich schaue nicht in die Zukunft. Die Performance ist immer außerhalb der Stichprobe. Die andere Möglichkeit, die Sie vorschlagen, bietet Rattle nicht, selbst wenn ich es wollte.
Ich habe Probleme, die weitaus komplexer sind als die Definition des Überlernens. Ich habe 10.000 Wirtschaftsindikatoren - Prädiktoren - und die Auswahl derjenigen, die den Markt beeinflussen, ist sehr schwierig. Wenn ich jeden Prädiktor einzeln durchgehen muss,
So etwas wie eine vollständige Suche gibt es nicht. Zufallswälder funktionieren am besten, wenn die Anzahl der Prädiktoren in Tausenden gemessen wird, ich habe einmal eine Zahl von 50 Tausend gesehen. Bei meinen Daten sind die Zahlen wie folgt: 90 Prädiktoren, 10000 Zeilen (Balken) - Modell-Trainingszeit etwa eine Minute auf einem Kern. Als Ergebnis: Klassenbezeichnungen, Wahrscheinlichkeit der Klassenbezeichnungen, Bedeutung der einzelnen Prädiktoren bei der Modellbildung.
Dieses Netzwerk ist schneller als eine Suche nach allen möglichen Kombinationen von Prädiktoren,
Es gibt keine Suche nach Prädiktoren. Der Algorithmus ist folgendermaßen aufgebaut. Es gibt einen Parameter - die Anzahl der Prädiktoren in einem Baumknoten, auf deren Grundlage die Entscheidung über die Klassifizierung getroffen wird. Sie können ihn selbst festlegen, Standardwert = sqrt (ich habe 90 der maximalen Anzahl von Prädiktoren). Ungefähr 9 Prädiktoren werden in jedem Knoten verwendet. Der Algorithmus nimmt für jeden Knoten des Baums immer 9 Prädiktoren, wählt aber immer zufällig aus der Gesamtzahl von 90 aus. Durch Kreuzvalidierung werden schließlich die signifikantesten Prädiktoren ausgewählt und in der endgültigen Baumkonstruktion verwendet.
PS.
Warum verwenden Sie nicht R? Wenn Sie dafür bezahlen, dann SAS....
Matlab gehört überhaupt nicht zu den spezialisierten Statistikpaketen.
Erklären Sie bitte, warum Sie sich die Mühe machen, Prädiktoren auszuwählen? Schließlich sind moderne Algorithmen in der Lage, Tausende von Prädiktoren zu verarbeiten, selbst wenn die meisten dieser Prädiktoren zufällig sind. Und die Modelle sind zuverlässig.
Leider ist das nicht der Fall. Zumindest nicht für mich.
Mir sind keine Algorithmen zur Prädiktorenauswahl bekannt (obwohl ich mehrere Dutzend Auswahlalgorithmen kenne), nach denen (Algorithmen) ein Übertraining des Modells ausgeschlossen wäre.
Es gilt immer noch die alte Regel der Statistik: "Garbage in - rubbish out".
Leider ist das nicht der Fall. Zumindest für mich.
Mir ist kein Prädiktorenauswahlalgorithmus bekannt (obwohl ich mehrere Dutzend Auswahlalgorithmen kenne), nach dessen Anwendung (Algorithmen) ein Übertraining des Modells ausgeschlossen wäre.
Es gilt immer noch die alte Regel der Statistik: "Garbage in - rubbish out".
Ich weiß es nicht, ich habe mein Programm getestet und es scheint in Ordnung zu sein.
Wenn ich aus meinem Schreiben über eine andere Quelle zitieren darf: "Wir haben die Korrektheit des Programms mit den Daten von hier getestet:
http://archive.ics.uci.edu/ml/index.html
(Website des Zentrums für maschinelles Lernen und intelligente Systeme).
Die Länge des Trainingsbeispiels betrug 10000 Merkmale. 3000 davon waren zufälliger Natur und wurden speziell hinzugefügt, um die Qualität der Klassifizierung zu testen. Insgesamt wurden 100 Beispiele in der Trainingsstichprobe verwendet, was zweifelsohne sehr wenig ist, aber wir konnten nicht mehr finden. Beim Testen haben wir weitere Beispiele in der Größenordnung von ebenfalls 100 Stück verwendet.
(Link zum Archiv mit den Originaldaten).
Die Erkennungsgenauigkeit betrug 75% bei unbekannten Daten. Wir sind davon überzeugt, dass wir die Genauigkeit der Vorhersagen erheblich steigern könnten, wenn wir mehr Daten zum Trainieren hätten." Ende des Zitats.
P.S.: Die Trainingszeit betrug etwa 2 Minuten auf einem PC mit einem 8-Kern-Prozessor und 8 GB Speicher, da die Trainingszeit des Algorithmus nicht exponentiell mit der Anzahl der Prädiktoren wächst. Und uninformative Prädiktoren werden nicht automatisch verwendet.
Falls jemand Interesse hat, hier ist der Link cybercortex.blogspot.ru (bitte nicht als Werbung betrachten:)
Ich weiß es nicht, ich habe mein Programm getestet und alles scheint in Ordnung zu sein.
Wenn ich aus meinem Schreiben zu einer anderen Quelle zitieren darf: "Wir haben die Korrektheit des Programms anhand der Daten von hier getestet:
wie Indikatoren verwendet. Und wie sich herausstellt, ist es sehr einfach, verschiedene Arten von Unsinn in das Modell einzubeziehen, und die Regel "Unsinn rein - Unsinn raus" beginnt zu funktionieren.
Die Einbeziehung von Müllprädiktoren in das Modell, d. h. von Prädiktoren, die einen schwachen Einfluss auf die Zielvariable haben, führt zu einem Übertraining des Modells, bei dem in der Trainingsstichprobe alles in Ordnung ist, außerhalb der Stichprobe jedoch Probleme auftreten.
Sie haben gerade ein großartiges und typisches Beispiel, an dem Sie das Problem aufzeigen können.
1. Oberflächlich betrachtet gehören alle Finanzreihen, anders als in Ihrem Beispiel, zu den sogenannten Zeitreihen, bei denen die Reihenfolge der Werte wichtig ist. Daher sollten Modelle auf den Finanzmärkten, im Gegensatz zu Modellen in der Medizin, diese Nuance in Betracht ziehen.
2. Aber es gibt noch einen viel schwerwiegenderen Umstand, der direkt mit dem Thema Ihrer Frage zusammenhängt.
In der Medizin bezieht sich die Lösung der Frage "krank-nicht krank" auf die Diagnose, und das ist die Hälfte der gesamten Medizin. Viele Menschen forschen, begründen, suchen nach "Prädiktoren" in unserer Terminologie, die nach Ansicht dieser Forscher für das Urteil "krank oder nicht krank" relevant sind. Im Devisenhandel gibt es nichts dergleichen. Auf dem Aktienmarkt ist die Erforschung der Beziehung zwischen wirtschaftlichen Ursachen und der Bewegungsrichtung üblich, aber nichts davon gilt für Intraday-Intervalle.
Daher werden beim Aufbau von Modellen für maschinelles Lernen auf Intraday-Intervallen formale, mathematische Werte wie Indikatoren verwendet. Und wie sich herausstellt, ist es sehr einfach, verschiedene Arten von Unsinn in das Modell einzubeziehen, und die Regel "Unsinn rein - Unsinn raus" beginnt zu funktionieren.
Die Aufnahme von Müll-Prädiktoren in das Modell, d. h. von Prädiktoren, die einen schwachen Einfluss auf die Zielvariable haben, führt zu einer Umschulung des Modells, bei der in der Trainingsstichprobe alles in Ordnung ist, außerhalb der Stichprobe jedoch Probleme auftauchen.
1. "Alle Finanzreihen gehören zu den sogenannten Zeitreihen, bei denen die Reihenfolge der Werte wichtig ist." - Niemand bestreitet dies, und diese Reihenfolge wird nicht verletzt, auch wenn es sich um eine Zeitreihe handelt. Wenn Sie das Modell auf die Preise P1, P2, P3...Pn trainiert haben, ändern Sie deren Reihenfolge nicht, wenn Sie es auf Out-of-Samples oder in der realen Anwendung testen.
2. In einem Punkt stimme ich mit Ihnen überein: Wenn die Eingabe zu 100 % aus unsinnigen Prädiktoren besteht, erhalten wir auch 100 % Unsinn in der Ausgabe. Das ist offensichtlich und wird von niemandem bestritten. Ich will damit nur sagen, dass es Algorithmen gibt, bei denen es keine Rolle spielt, die Daten zu bereinigen, weil sie bei Out-of-Samples mit jeder beliebigen Menge an fehlerhaften Daten außer 100% gute Ergebnisse liefern, weil fehlerhafte Daten de facto nicht verwendet werden. In diesem Zusammenhang ist es auch wichtig, zwischen Algorithmen zu unterscheiden, für die die Reduzierung der Datendimensionalität von entscheidender Bedeutung ist, wie z. B. bei der Hauptkomponentenanalyse oder bei Autoencodern, und Algorithmen, die für die Datendimensionalität unempfindlich sind.
"Auf dem Aktienmarkt ist die Erforschung der Beziehung zwischen wirtschaftlichen Ursachen und der Bewegungsrichtung üblich, aber nichts davon gilt für Intraday-Intervalle". - Doch, und es gilt für Intraday-Intervalle, wie die Veröffentlichung der Non-Farm Payrolls.
3. Natürlich verstehe ich Sie, jeder verdient, wie er kann, aber haben Sie jemals selbst Algorithmen des maschinellen Lernens implementiert? Ich bin davon überzeugt, dass man einen Algorithmus von Grund auf selbst schreiben muss, um zu verstehen, wie er funktioniert. Glauben Sie mir, in diesem Fall werden Sie Dinge entdecken, die nicht in Büchern beschrieben sind. Und selbst scheinbar offensichtliche Elemente, die vorher einfach erschienen, funktionieren in Wirklichkeit anders, als man dachte:). Mit freundlichen Grüßen.
Darüber hinaus werden beim Aufbau von Modellen für maschinelles Lernen auf Intraday-Intervallen formale, mathematische Werte wie Indikatoren verwendet. Und wie sich herausstellt, ist es sehr einfach, verschiedene Arten von Unrat in das Modell aufzunehmen, und die Regel "Unrat rein - Unrat raus" beginnt zu funktionieren.
....
3. Natürlich verstehe ich Sie, jeder verdient, was er kann, aber haben Sie jemals selbst einen Algorithmus für maschinelles Lernen implementiert? Ich bin davon überzeugt, dass man einen Algorithmus von Grund auf selbst schreiben muss, um zu verstehen, wie er funktioniert. Glauben Sie mir, in diesem Fall werden Sie Dinge entdecken, die nicht in Büchern beschrieben sind. Und selbst scheinbar offensichtliche Elemente, die vorher einfach erschienen, funktionieren in Wirklichkeit anders, als man dachte:) Hochachtungsvoll.