Diskussion zum Artikel "Random-Forest-Vorhersage-Trends" - Seite 9

Neuer Kommentar
 
Reshetov:
Jetzt haben Sie alles ruiniert. Und wie kommt es, dass Ihre hohe KI eine triviale Summe nicht sofort erkannt hat?
 
gpwr:

faa1947, bitte zeigen Sie anhand des folgenden Beispiels, wie Ihr Modell funktioniert. Die erste Spalte ist die modellierte Reihe, die zweite und dritte Spalte sind die Prädiktoren. Wie hoch ist die Vorhersagekraft dieser Prädiktoren?

-0.35742 0.461646 -0.81907
0.431277 0.004545 0.426731
-0.00018 -0.4037 0.403528
-0.08575 0.90851 -0.99426
0.773826 0.008975 0.764852
0.426905 -0.96485 1.391757
0.253233 0.487955 -0.23472
0.20994 0.880554 -0.67061
-0.09929 0.160276 -0.25956
0.332911 -0.08736 0.420268
0.032258 0.360106 -0.32785
0.253027 -0.06859 0.321621
-0.66668 -0.54985 -0.11683
-0.5476 -0.13231 -0.41529
-0.75652 0.536488 -1.29301
-0.66109 -0.87314 0.212052
-0.09993 -0.86293 0.763
0.014625 0.715032 -0.70041
-0.48345 -0.62666 0.143206
-0.03596 0.935653 -0.97161
-0.17023 0.678024 -0.84826
0.293376 0.079529 0.213847
0.002922 0.754594 -0.75167
0.329194 -0.05535 0.384546
0.639423 -0.41358 1.053007
0.431631 -0.60334 1.034973
0.59125 0.497989 0.093262
0.266098 -0.79645 1.062549
-0.02624 0.643164 -0.6694
0.055014 -0.46214 0.517154
0.436132 -0.89992 1.336052
-0.30143 0.628619 -0.93005
-0.12168 0.886467 -1.00814
-0.10851 -0.0507 -0.0578
-0.74573 -0.50921 -0.23653
-0.574 0.244825 -0.81883
-0.87313 0.336188 -1.20932
-0.00344 0.117363 -0.1208
-0.20265 0.424326 -0.62697
0.177873 -0.17967 0.357541

Ich bin kein generalistischer Mathematiker. Ich versuche, sehr konkret zu argumentieren, und im Hinblick auf den Handel ist es nicht schwierig, eine Stichprobe von 10000 Linien zu erhalten. Ich weiß nicht, wie man aus 40 Linien irgendwelche Schlüsse ziehen kann, und ich sehe auch nicht die Notwendigkeit, dies zu lernen, obwohl alles, worüber ich spreche, auf solche Stichproben anwendbar ist. Für die Medizin sind 40 Linien normal.

1. Im Allgemeinen schreibe ich über das Übertraining des Modells, in dem die "Vorhersagefähigkeit" entstanden ist.

2. Ich befasse mich mit der Vorhersage von Nominalwerten - "long-short". Das sind Klassifikationsmodelle. Ihr Beispiel, Regressionsmodelle tue ich nicht.

Ich bin bereit, weiter zu machen.

Ich brauche einen Kurs, auf dem ich eine ZZ laufen lassen kann und mehrere Ausbrüche habe. Von dort brauche ich eine ziemlich große Datei.

Zusätzlich zu den cotir selbst, mehrere Prädiktoren, auch ein. Ich werde die Frage beantworten: Hat dieser Prädiktor eine Vorhersagekraft für Longs-Shorts.

Und natürlich wird eine Datei benötigt - oder schlagen Sie vor, alles von Hand einzutippen?

 

TheXpert:

Reschetow:

Das Geheimnis der "hohen Verallgemeinerbarkeit" Ihrer Stichprobe ist gelüftet: Der Wert der ersten Spalte ist die Summe der Werte der beiden anderen Spalten.


Jetzt haben Sie alles ruiniert) . Und wie kommt es, dass Ihre hohe KI eine triviale Summe nicht sofort erkannt hat?

Und sie ist nicht dafür ausgelegt, Summen zu erkennen, denn sie erstellt Modelle für die binäre Klassifikation, und die Aufgabe stammt aus dem Bereich der multiplen Regression.

Das Modell ist zwar für die binäre Klassifikation, aber dennoch wird der Ausdruck:

double x0 = 2.0 * (v0 + 0.96485) / 1.900503 - 1.0;

double x1 = 2.0 * (v1 + 1.00814) / 2.399897 - 1.0;

y = 0.12981203254657206 + 0.8176828303879957 * x0 + 1.0 * x1 -0.005143248786272694 * x0 * x1;

wird vereinfacht zu: y ~ v0 + v1.

Dann bleibt nur noch, die Hypothese in einer Tabellenkalkulation zu testen.

 

Guten Tag, SanSanych.

Zum Thema Untertraining, Übertraining, können Sie sich den Entwurf des Buches hier ansehen http://www.iro.umontreal.ca/~bengioy/dlbook/.

In Abschnitt 5.3.3 wird alles sehr gut beschrieben. Im Allgemeinen ist das ganze Buch sehr nützlich, vor allem von Koryphäen geschrieben.

Viel Erfolg!

 
vlad1949:

Guten Tag, SanSanych.

Zum Thema Untertraining, Übertraining, können Sie sich den Entwurf des Buches hier ansehen http://www.iro.umontreal.ca/~bengioy/dlbook/.

In Abschnitt 5.3.3 wird alles sehr gut beschrieben. Im Allgemeinen ist das ganze Buch sehr nützlich, vor allem von Koryphäen geschrieben.

Viel Glück!

Guten Tag!

Danke für den Link.

Ich habe ein komplettes Set von Werkzeugen und eine Auswahl an Literatur zum Thema. Aber die praktische Anwendung wird dadurch nicht erleichtert.

Wenn Sie es wünschen, kann ich es mit Ihnen teilen, in der Hoffnung, diesen ganzen Werkzeugkasten zur Automatik zusammenzubringen.

 
faa1947:

Guten Tag!

Danke für den Link.

Ich habe einen kompletten Satz von Werkzeugen und eine Auswahl an Literatur zu diesem Thema. Aber das macht die praktische Anwendung nicht einfacher.

Wenn Sie möchten, kann ich in der Hoffnung, alle diese Werkzeuge zum Automatismus zusammenzubringen, teilen.

Ich löse dieses Problem programmatisch. Die Ergebnisse sind gut.

Viel Erfolg!

 
faa1947:

Ich bin kein universeller mathematischer Experte. Ich versuche, sehr konkret zu argumentieren, und auf der Grundlage des Handels ist es nicht schwierig, eine Stichprobe von 10000 Linien zu erhalten. Ich weiß nicht, wie man aus 40 Linien Schlüsse ziehen kann, und ich sehe auch nicht die Notwendigkeit, dies zu lernen, obwohl alles, worüber ich spreche, auf solche Stichproben anwendbar ist. Für die Medizin sind 40 Linien normal.

1. Im Allgemeinen schreibe ich über das Übertraining des Modells, in dem die "Vorhersagefähigkeit" entstanden ist.

2. Ich befasse mich mit der Vorhersage von Nominalwerten - "long-short". Das sind Klassifikationsmodelle. Ihr Beispiel, Regressionsmodelle tue ich nicht.

Ich bin bereit, weiter zu machen.

Ich brauche einen Kurs, auf dem ich eine ZZ laufen lassen kann und mehrere Ausbrüche habe. Von dort brauche ich eine ziemlich große Datei.

Zusätzlich zu den cotir selbst, mehrere Prädiktoren, auch ein. Ich werde die Frage beantworten: Hat dieser Prädiktor eine Vorhersagekraft für Longs und Shorts.

Und natürlich wird eine Datei benötigt - oder schlagen Sie vor, alles von Hand abzutippen?

Ich verstehe. Es ist recht einfach zu überprüfen, ob das Modell übertrainiert ist, indem man sein Verhalten in der Trainingsstichprobe und außerhalb vergleicht. Aber wie man das Modell nicht übertrainiert, hängt von unserer Fähigkeit ab, zu bestimmen, welche Prädikator-Eingaben für die modellierten Reihen relevant sind und welche nicht, was viel schwieriger ist als die Bestimmung von Übertraining. Die Fähigkeit eines Modells zur Verallgemeinerung hängt von seiner Überanpassung ab. Das von mir genannte Beispiel ist sehr einfach. Die zu modellierende Reihe y ist eine verrauschte Sinuswelle. Der erste Prädiktor x1 ist eine Zufallszahl. Der zweite Prädiktor x2 ist die Differenz x2 = y-x1. Mit anderen Worten, das Modell wird genau durch die Summe der Prädiktoren y = x1+x2 beschrieben. Die Tatsache, dass Sie sich geweigert haben, Ihre Methode auf dieses einfache Beispiel anzuwenden, verstärkt nur den Verdacht, dass Ihre Methode nicht in der Lage ist, die Relevanz der Daten zu bestimmen, und die Bestimmung dieser Relevanz ist genau das Hauptziel, um Übertraining zu erkennen und zu beseitigen. Echte Modellierungsprobleme sind viel komplexer als mein Beispiel - sie enthalten sowohl relevante Daten als auch viel mehr irrelevante Daten. Das eine vom anderen zu trennen, ist unglaublich schwierig. Ein neuronales Netz mit allen Eingaben wird so trainiert, dass es Verbindungen zu den relevanten und nicht relevanten Eingaben hat und daher neu trainiert wird. Da Sie offensichtlich nicht wissen, wie man die Relevanz von Daten bestimmt, habe ich kein Interesse an Ihren Artikeln und Büchern. Viel Glück!
 
gpwr:

Es ist recht einfach zu überprüfen, ob das Modell übertrainiert ist, indem man sein Verhalten in der Trainingsstichprobe und außerhalb vergleicht.

Das ist eine große Illusion und, wie ich höre, von Ihnen noch nicht bezahlt worden. Das in dem Artikel beschriebene Modell hat bei drei Stichproben außerhalb des Trainings gleich gute Ergebnisse - aber dieses Modell ist übertrainiert.

Und wie man das Modell nicht übertrainiert, hängt von unserer Fähigkeit ab, zu bestimmen, welche Prädikator-Eingaben für die modellierten Reihen relevant sind und welche nicht, was viel schwieriger ist als die Bestimmung des Übertrainings.

Lesen Sie zunächst das Papier sorgfältig durch - Tabelle 3 zeigt die Bedeutung der Prädiktoren für die Vorhersage der Zielvariablen

Und dann lernen Sie die Matrix, indem Sie z. B. spezialisierte Pakete für die Auswahl der Prädiktoren varSerf, Boruta, FSelector studieren. Und das CORElearn-Paket hat 35 (!) verschiedene Algorithmen zur Auswahl von Prädiktoren, die für die Zielvariable wichtig sind.

Meine Erfahrung bei der Auswahl von Prädiktoren, die für die Zielvariable wichtig sind, ist folgende

1. Wir bilden einen ziemlich großen Satz von Prädiktoren, z.B. 50 Stück mit einer Anzahl von 15000 Balken.

2. Mit Hilfe eines der oben genannten Algorithmen wählen wir Prädiktoren auf diesen 15.000 Balken aus - wir erhalten in der Regel 15 bis 20 Stück, die bei der Modellbildung häufiger als in 20% der Fälle verwendet werden.

3. Dann nehmen wir ein kleineres Fenster, z.B. 2000 Balken, und beginnen, es einen Balken nach dem anderen zu verschieben, wobei wir signifikante Prädiktoren aus den zuvor ausgewählten 20 von 50 auswählen.

4. Die spezifische Liste der signifikanten Prädiktoren ändert sich ständig.

Da Sie offensichtlich nicht wissen, wie man die Relevanz von Daten bestimmt, habe ich kein Interesse an Ihren Artikeln und Büchern.

Die Effizienz der Verwendung dieser Pakete in Ihren Händen wird stark zunehmen, wenn Sie einen kleinen Betrag für mein Buch ausgeben, in dem erklärt wird, warum es notwendig ist und wie es zu verstehen ist, sowie für echte Beispiele mit echten Daten.

Und der Effekt wird noch größer sein, wenn Sie und ich gemeinsam versuchen, ein untrainiertes Modell für Ihre Prädiktoren zu erstellen. Der Erfolg ist nicht garantiert, aber es ist garantiert, dass Sie nach dem Gespräch mit mir keine so oberflächlichen Beiträge mehr schreiben werden. Außerdem werden Sie bei echten Konten viel vorsichtiger sein.

 
faa1947:

1. Wir bilden einen ziemlich großen Satz von Prädiktoren, zum Beispiel 50 Stück mit der Anzahl der Balken 15000.

Nun, jetzt ist klar, warum Sie mit dem Verkauf Ihres Buches und nicht mit dem Handel Geld verdienen.

 
faa1947:

Das sind große Illusionen, und wie ich sehe, haben Sie dafür noch nicht bezahlt. Das in dem Artikel genannte Modell hat bei drei Stichproben aus dem Training gleich gute Ergebnisse - aber dieses Modell ist übertrainiert.

Übertraining ist ein etablierter und sehr spezifischer Begriff. Sie verdrängen ihn nicht nur, sondern erklären auch nicht, was er nach Ihrem Verständnis bedeutet.

Die Art und Weise, wie Sie reden, erinnert sehr an Sulton).

1234567891011121314
Neuer Kommentar