Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 57
Sie verpassen Handelsmöglichkeiten:
- Freie Handelsapplikationen
- Über 8.000 Signale zum Kopieren
- Wirtschaftsnachrichten für die Lage an den Finanzmärkte
Registrierung
Einloggen
Sie stimmen der Website-Richtlinie und den Nutzungsbedingungen zu.
Wenn Sie kein Benutzerkonto haben, registrieren Sie sich
Nun, Nachhaltigkeit wird dadurch erreicht, dass ein mögliches Überlernen verhindert wird. Und eine unausgewogene Trainingsstichprobe ist eine potenzielle Ursache für Übertraining in wenig repräsentativen Klassen. Schließlich versucht der Lernalgorithmus, so zu handeln, wie er es für richtig hält, und nicht, wie er es tun muss, um die Verallgemeinerbarkeit zu erhöhen. Wenn die Stichprobe unausgewogen ist, werden die Lernfehler in den am wenigsten repräsentativen Klassen minimiert, weil es für diese Klassen nur wenige Beispiele gibt und es am einfachsten ist, sie auswendig zu lernen, anstatt zu verallgemeinern. Nach einem solchen Auswendiglernen muss man sich nicht wundern, dass die Fehler des Algorithmus außerhalb der Trainingsstichprobe am ehesten in Klassen auftreten, die nicht repräsentativ sind.
Der Gedanke ist einfach. Im wirklichen Leben wird Ihnen niemand erlauben, eine gemischte Stichprobe mit Beobachtungen aus der Zukunft zu nehmen, um die Qualität des realen Handels zu beurteilen. Alle Beobachtungen werden nach dem Tag X gelöscht.
Durch die Entnahme einer Mischprobe bei der Validierung (ohne Datumstrennung) wird die Qualitätskennzahl bei der Validierung also überbewertet. Das war's. Dann wird es böse Überraschungen geben.
Was hat das Denken damit zu tun? Der Gedanke ist subjektiv. Das Denken kann sowohl richtig als auch absichtlich falsch sein. Denn die Vorstellungskraft ist problematisch begrenzt. Das Kriterium der Wahrheit ist immer die Erfahrung.
Nehmen Sie zwei Trainingsproben, eine vorbalanciert und die andere stark unbalanciert. Trainieren Sie den Algorithmus auf beiden Stichproben und messen Sie die Generalisierungsfähigkeit auf den Testteilen. Vergleichen Sie dann die Verallgemeinerungsfähigkeit. Diejenige, die die beste Verallgemeinerungsfähigkeit bietet, wird das Kriterium der Wahrheit sein.
Andernfalls werden wir so viel nachdenken und spekulieren, dass wir unseren Puls verlieren. Denn Uneinigkeit entsteht in der Debatte, Wahrheit in der Erfahrung.
Damit bin ich fertig mit der weiteren Diskussion über das Thema der ausgewogenen Ausbildungsstichprobe. Andernfalls kann dieser Chor endlos fortgesetzt werden, denn es gibt zwei unterschiedliche Meinungen, und es ist Zeitverschwendung, weiter zu messen, wer von uns beiden mehr Recht hat.
Nun, Stabilität wird dadurch erreicht, dass Übertraining vermieden wird. Und eine unausgewogene Trainingsstichprobe ist ein potenzieller Grund für ein Übertraining in wenig repräsentativen Klassen. Schließlich versucht der Lernalgorithmus, so zu handeln, wie er es für richtig hält, und nicht, wie er es tun muss, um die Verallgemeinerbarkeit zu erhöhen. Wenn die Stichprobe unausgewogen ist, werden die Lernfehler in den am wenigsten repräsentativen Klassen minimiert, weil es für diese Klassen nur wenige Beispiele gibt und es am einfachsten ist, sie auswendig zu lernen, anstatt zu verallgemeinern. Nach einem solchen Auswendiglernen ist es nicht verwunderlich, dass außerhalb der Trainingsstichprobe die Fehler des Algorithmus in den weniger repräsentativen Klassen am ehesten auftreten.
1. Bei unausgewogenen Klassen ist das ein Chaos: Der Fehler zwischen den Klassen kann um ein Vielfaches abweichen. Und welche ist die richtige?
2. Es ist bei weitem nicht immer möglich, ein Gleichgewicht zwischen den Klassen herzustellen.
Ihr Beispiel mit BUY|SELL. Wenn die Anzahl der Beobachtungen (Balken) über 3000 liegt, beträgt der Unterschied in der Unausgewogenheit 10 % und höchstens 20 %. Es ist durchaus möglich, ein Gleichgewicht herzustellen.
Und hier hatDr.Trader die Zielvariable "Pivot/Not Pivot" vorgeschlagen. Ich glaube, er hat es von ZZ übernommen. Bei dieser Zielvariablen werden sich die unausgewogenen Klassen also um Größenordnungen unterscheiden. Können wir mit einer so ausgewogenen Stichprobe unterrichten, wenn wir die Klasse aufstocken? Ich habe den Eindruck, dass dies nicht der Fall ist.
So einfach ist das mit dem Ausgleichen also nicht.
Aus meiner eigenen Erfahrung:
Ich konnte keine anderen Lösungen finden.
Ich werde alles stehen und liegen lassen und ein R-Adept werden, damit ich mit einem ernsten Gesicht Zahlen spielen kann.
Bisher habe ich noch nicht bemerkt, dass Sie mit Zahlen spielen, aber ich weiß nicht, wie es mit dem Gesicht aussieht - ich kann es nicht sehen.
Was hat das Denken damit zu tun? Der Gedanke ist subjektiv. Das Denken kann sowohl richtig als auch absichtlich falsch sein. Denn die Vorstellungskraft ist problematisch begrenzt. Das Kriterium der Wahrheit ist immer die Erfahrung.
Nehmen Sie zwei Trainingsproben, eine vorbalanciert und die andere stark unbalanciert. Trainieren Sie den Algorithmus auf beiden Stichproben und messen Sie die Generalisierungsfähigkeit auf den Testteilen. Vergleichen Sie dann die Verallgemeinerungsfähigkeit. Diejenige, die die beste Verallgemeinerungsfähigkeit bietet, wird das Kriterium der Wahrheit sein.
Andernfalls werden wir so viel nachdenken und spekulieren, dass wir unseren Puls verlieren. Schließlich entsteht Uneinigkeit durch Argumente und Wahrheit durch Erfahrung.
Daher werde ich das Thema der Ausgewogenheit der Ausbildungsprobe nicht weiter diskutieren. Andernfalls kann dieser Cholivar unendlich weitergehen, da es zwei verschiedene Meinungen gibt und weiterhin zu messen, wer von uns richtig denkt - eine Verschwendung von Zeit.
Ich meine das eine, Sie das andere. Ich bin der Meinung, dass man die Menge streng nach Daten aufteilen muss. Und Sie sprechen von Gleichgewicht.
Es tut mir leid, aber ich habe bereits gesagt, dass ich keinen Sinn darin sehe, diesen Refrain fortzusetzen. Ich habe bereits versucht, die Unzulänglichkeiten des Gleichgewichts anhand von Beispielen zu erläutern. Wahrscheinlich ist das nicht sehr überzeugend, oder? Ich bin nicht gut in schwarzer Rhetorik, also kann ich nicht einfach mit einem ernsten Gesichtsausdruck Schwarz in Weiß verwandeln. Seien Sie also nicht zu streng mit mir.
Ist es wahrscheinlicher, dass Sie versuchen, mich davon zu überzeugen, dass Sie angeblich versuchen, Sie zum Ausgleich der Realität zu "zwingen"? Aber ich habe keine solche Absicht. Ich weiß, dass die Realität für mich leider oft unausgewogen ist und sich nicht immer die Gelegenheit bietet, sie auszugleichen. In meinen Beiträgen habe ich versucht, Ihnen zu erklären, dass es nicht notwendig ist, die Realität außerhalb der Trainingsstichprobe auszubalancieren, sondern dass es notwendig und ausreichend ist, die Trainingsstichprobe auszubalancieren, so dass das daraus gewonnene Modell nicht in Richtung hochrepräsentativer Klassen verzerrt ist. Auch bei der Aufteilung der allgemeinen Stichprobe nach Daten ist es oft nicht möglich, ein Gleichgewicht zu erreichen. Aus diesem Grund wäge ich die Ausbildungsstichprobe nicht nach Daten ab, sondern nach der Repräsentativität der Klassen.
Ich werde keine weiteren Fragen zum Ausgleich von Trainingssets beantworten. Dieser Refrain hat sich also bereits in die Länge gezogen.
Es tut mir leid, aber ich habe bereits gesagt, dass ich keinen Sinn darin sehe, diesen Refrain fortzusetzen. Ich habe bereits versucht, die Unzulänglichkeiten des Gleichgewichts anhand von Beispielen zu erläutern. Wahrscheinlich ist das nicht sehr überzeugend, oder? Ich bin nicht gut in schwarzer Rhetorik, also kann ich nicht einfach schwarz in weiß verwandeln, ohne eine Miene zu verziehen. Seien Sie also nicht zu streng mit mir.
Ist es wahrscheinlicher, dass Sie versuchen, mich davon zu überzeugen, dass Sie angeblich versuchen, Sie zum Ausgleich der Realität zu "zwingen"? Aber ich habe keine solche Absicht. Ich weiß, dass die Realität für mich leider oft unausgewogen ist und sich nicht immer die Gelegenheit bietet, sie auszugleichen. Deshalb habe ich in meinen Beiträgen versucht zu erklären, dass es nicht notwendig ist, die Realität außerhalb der Trainingsstichprobe auszubalancieren, sondern dass es notwendig und ausreichend ist, die Trainingsstichprobe auszubalancieren, so dass das daraus gewonnene Modell nicht in Richtung stark repräsentativer Klassen verzerrt ist. Auch bei der Aufteilung der allgemeinen Stichprobe nach Daten ist es oft nicht möglich, ein Gleichgewicht zu erreichen. Daher wäge ich die Ausbildungsstichprobe nicht nach Daten ab, sondern nach der Repräsentativität der darin enthaltenen Klassen.
Ich werde keine weiteren Fragen zum Ausgleich des Trainingssatzes beantworten. Wir geraten also schon in ein Tohuwabohu.
Ich möchte der Vollständigkeit halber einspringen und meine Meinung über den Thread bekräftigen.
1. Sie benötigen zwei Datensätze: Der zweite ist eine zeitliche Verlängerung des ersten.
2. Saldieren Sie den ersten Satz von Daten. Wir halten es auf jeden Fall im Gleichgewicht.
3. Der erste Datensatz wird nach dem Zufallsprinzip in drei Teile aufgeteilt: Training, Test und Validierung.
4. Wir erhalten einen Fehler in der zweiten Menge, die eine Fortsetzung der ersten Menge in der Zeit ist.
Wenn der Fehler bei allen VIER Sätzen ungefähr gleich ist, wird das Modell nicht neu trainiert. Wenn der Fehler einen annehmbaren Wert hat, können wir sicher weitergehen, d.h. ihn durch den Tester laufen lassen.
Wenn ein signifikanter Unterschied (mehr als 30 %) besteht, führt der ursprüngliche Prädikatorensatz zu einer Modellumschulung, und nach meiner persönlichen Erfahrung kann der Austausch des Modelltyps nichts an der Umschulung ändern. Wir müssen die Rauschprädiktoren loswerden. Es kann leicht passieren, dass es unter den Prädiktoren überhaupt KEINE Rauschprädiktoren gibt.