Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 386

 

OK, diese 0,8 % sind also ehrlich ermittelt. Offenbar gibt es einen eingebauten Algorithmus im Modell, der vor Übertraining schützt.


Maxim Dmitrievsky:

Nun, erstens ist die Menge sehr groß, zweitens ist die Art der Merkmale überhaupt nicht bekannt und lineare Modelle wie Vektoren und Wald sind hier offensichtlich nicht geeignet, wir müssen ein komplexes Nicht-Gitter erstellen, vielleicht ist das der Grund.


Klassifizierungsmodelle passen nicht wirklich, ja. Eine Regression ist erforderlich. Denn das Ergebnis wird nicht nach der Genauigkeit des Modells, sondern nach der Logloss-Funktion bewertet, die in der Regel eine höhere Schätzung der Regressionsergebnisse ergibt

MultiLogLoss <- function(act, pred) {
  eps <- 1 e-15
  pred <- pmin(pmax(pred, eps), 1 - eps)
  sum(act * log(pred) + (1 - act) * log(1 - pred)) * -1 / length(act)
}

act (actual) - erwartetes Ergebnis, Vektor
pred (vorhergesagt) - vorhergesagtes Ergebnis, Vektor

Je niedriger der Wert dieser Funktion ist, desto besser. Wenn das Ergebnis der Funktion größer oder gleich 0,6931472 ist, ist das Modell schlecht und dieses Ergebnis deutet auf eine zufällige Schätzung hin.

Und nach den Ergebnissen der 54. Runde zu urteilen, erhielt der Gewinner 0,690467, wenn er die neuen, für die Teilnehmer versteckten Daten schätzte, ist dies das Ergebnis, das wir anstreben sollten.

 
Dr. Trader:

OK, diese 0,8 % sind also ehrlich ermittelt. Offenbar gibt es in dem Modell einen eingebauten Algorithmus gegen Überanpassung.



Klassifizierungsmodelle passen nicht wirklich, ja. Eine Regression ist erforderlich. Weil das Ergebnis nicht nach der Genauigkeit des Modells, sondern nach der Logloss-Funktion bewertet wird, die den Regressionsergebnissen in der Regel eine höhere Punktzahl gibt

act (actual) - erwartetes Ergebnis, Vektor
pred (vorhergesagt) - vorhergesagtes Ergebnis, Vektor

Je niedriger der Wert dieser Funktion ist, desto besser. Wenn das Ergebnis der Funktion größer oder gleich 0,6931472 ist, ist das Modell schlecht und dieses Ergebnis deutet auf eine zufällige Schätzung hin.

Nach den Ergebnissen der 54. Runde zu urteilen, erhielt der Gewinner des Wettbewerbs 0,690467, wenn er die neuen, vor den Teilnehmern verborgenen Daten schätzte; dies ist das Ergebnis, das wir anstreben sollten.


Regression NS produziert dies auf einer Trainingsstichprobe, es ist auch eine Teststichprobe, nicht sicher, wie es richtig zu interpretieren, aber es sieht auch für mich schlecht aus ) D.h. ein einfaches neuronales Standardnetz bietet keinen Vorteil bei der Regression gegenüber der Klassifikation und auch keinen Vorteil gegenüber anderen Klassifikationsmethoden. Und es gibt normalisierte Inputs und Outputs, Regression macht für mich in diesem Fall keinen Sinn...


 

Auswahl von Literatur in einem wettbewerbsorientierten Umfeld


5087 Dokumente entsprachen der Suche nach GARCH, GJR-GARCH, EGARCH, in Titeln und Stichworten.


GARCH-Modelle sollen clever sein, alles wird transparent modelliert:

1 Die ursprüngliche Reihe wird in Inkremente als log(Xi/ Xi-1) umgewandelt.

2. Der Durchschnitt wird mit dem ARIMA-Modell modelliert

3. Nuancen der Streuung im Sinne von Schiefe und Kurtosis (dicke Schwänze) usw. werden modelliert.

4. Die Verteilung selbst wird modelliert. In der Regel wird entweder eine schiefe t-Verteilung oder eine schiefe GED-Verteilung verwendet.


Bei der Betrachtung des Handels an den Börsen werden Modelle mit Umschaltmodi eingeführt, die entweder Änderungen der Modellparameter oder der Spreads berücksichtigen.


In den Artikeln gibt es oft vorgefertigten Code in R.

 
SanSanych Fomenko:

Auswahl von Literatur in einem wettbewerbsorientierten Umfeld


5087 Dokumente entsprachen der Suche nach GARCH, GJR-GARCH, EGARCH, in Titeln und Stichworten.


GARCH-Modelle sollen clever sein, alles wird transparent modelliert:

1 Die ursprüngliche Reihe wird in Inkremente als log(Xi/ Xi-1) umgewandelt.

2. Der Durchschnitt wird mit dem ARIMA-Modell modelliert

3. Nuancen der Streuung im Sinne von Schiefe und Kurtosis (dicke Schwänze) usw. werden modelliert.

4. Die Verteilung selbst wird modelliert. In der Regel wird entweder eine schiefe t-Verteilung oder eine schiefe GED-Verteilung verwendet.


Bei der Betrachtung des Handels an den Börsen werden Modelle mit Umschaltmodi eingeführt, die entweder Änderungen der Modellparameter oder der Spreads berücksichtigen.


In Artikeln gibt es oft vorgefertigten Code in R.


Was ist mit der Tatsache, dass Inkremente keinerlei Trends anzeigen? Mein Modell verwendet ebenfalls Gradienten für die kurzfristige Genauigkeit, aber ich betrachte auch die Trendverhältnisse auf eine clevere Weise

Sie können sich die Abstufungen bei verschiedenen Zeitproben ansehen. Haben Sie versucht, ns return-self aus verschiedenen TFs zu trainieren?

 
Maxim Dmitrievsky:



Was ist mit der Tatsache, dass Inkremente in keiner Weise Trends anzeigen?

Ja, das tun sie.

Entweder sagt das Modell den Anstieg oder die Richtung voraus - dafür sind Klassifizierungsmodelle da.

Mir sind keine Klassifizierungsmodelle bekannt, die Bewegungen in den Nachrichten erkennen. Und das ist bei GARCH der Sinn des Modells - die eingetretene Bewegung zu ermitteln. Fat Tails - dies ist die Bewegung in den Nachrichten, wenn Trends brechen und scharfe Umkehrungen auftreten.


Nun, Sie können den Anstieg in verschiedenen Zeiträumen beobachten.

Es gibt interessante GARCH-Modelle für verschiedene Zeitrahmen. Die Bedeutung ist die folgende.

Angenommen, wir sagen den Zuwachs auf H1 voraus. Das Modell benötigt Eingangsdaten, die die Verteilung charakterisieren. Als solche Eingangsdaten (in der Regel Volatilität) nehmen wir nicht die vorangegangene Stunde, sondern die Minuten innerhalb der aktuellen Stunde.

 
Dr. Trader:

numerai hat die Regeln in diesem Jahr ein paar Mal geändert.

Früher war es einfach und gut - man trainierte ein Modell auf einer Trainingstabelle, überprüfte den Fehler auf der Testtabelle, schickte ihnen Vorhersagen, sie extrapolierten sie auf ihre versteckte Testtabelle und zählten den Fehler auf dieser Tabelle. Wer in der verdeckten Tabelle weniger Fehler hat, gewinnt. Es war sehr gut und richtig, dass der Fehler im Testdatensatz wirklich mit dem Fehler im versteckten Datensatz übereinstimmte, so dass Sie Ihr Modell überprüfen konnten.

Dann änderten sie etwas, und der Fehler im Testdatensatz korrelierte nicht mehr mit dem Fehler in ihrem versteckten Prüfdatensatz. Alle Anführer von der Spitze verschwanden, nur zufällige Leute, die das Glück hatten, ihr Modell in ihren verdeckten Kontrolltisch zu bekommen, gewannen. Imho ist das Versagen von numerai, irgendein willkürlicher Blödsinn und kein Wettbewerb.

Dann sahen sie, dass alle adäquaten Leute von ihrem Zufallswettbewerb wegkamen, erkannten ihren Fehler und änderten etwas. Nun werden die Vorhersagen nach verschiedenen Kriterien bewertet. Das Kriterium, das mich am meisten ärgert, ist die "Einzigartigkeit": Wenn jemand bereits ähnliche Ergebnisse übermittelt hat, wird Ihre Arbeit als Plagiat abgelehnt. D.h. wenn mehrere Personen den gleichen Rahmen nutzen, um ein Modell zu erstellen, erhält derjenige das Geld, der früher aufgewacht ist und eine Vorhersage geschickt hat.
Die Modellgenauigkeit ist für die Gewinnberechnung völlig unbrauchbar geworden. Sie können den Fehler 0 bekommen, auf Platz 1 stehen und nichts verdienen, weil die Spitze das Ergebnis der Testdaten zeigt, die sie sich selbst zum Herunterladen geben, die Spitze zeigt nicht mehr das Ergebnis ihrer versteckten Validierungstabelle.
Die aktuelle Version ihres Wettbewerbs ist imho Unsinn, keine Transparenz, alles ist durcheinander. Ich warte darauf, dass sie wieder etwas am Wettbewerb ändern, hoffentlich wird es wieder angemessen sein.

Wie viel echtes Geld haben Sie mit dieser Website verdient, bevor die Regeln geändert wurden?
 

 
Dr. Trader:

Eher eine Art Rabattservice )) Nicht wie die Bezahlung eines Datenwissenschaftlers

 

Jede Woche werden den Gewinnern der Top 100 insgesamt 3.600 Dollar ausgezahlt, aber die Preise nehmen im Umfang sehr stark ab. Der erste Platz erhält $1000, dann $435, dann $257, usw. Selbst wenn Sie den zehnten Platz erreichen (in der Regel gibt es über 500 Teilnehmer), erhalten Sie mickrige 63 Dollar. Sie werden schikaniert.

Ich sehe diesen Wettbewerb eher als eine Möglichkeit, mein Modell mit den führenden zu vergleichen und verschiedene Ansätze der Datenanalyse kennenzulernen, denn als eine Möglichkeit, Geld zu verdienen.

 

Ich wollte wissen, wie die Punktzahl aus dem Leaderboard (val logloss, vertikal) mit der Punktzahl zusammenhängt, die das Modell auf den neuen Daten (live logloss, horizontal) erhalten hat. (55. Runde)

Gut gemacht, nur die im unteren linken Rechteck. Die anderen haben es zwar in die Bestenliste geschafft, aber die neuen Daten nicht genutzt. Die besten Loglosses in der Rangliste (die beiden unteren Punkte auf der rechten Seite) waren die schlechtesten bei den neuen Daten.

Der Punkt ganz links im Diagramm gewinnt, und es sieht eher nach einem zufälligen Ausreißer als nach gezieltem maschinellem Lernen aus.

Interessanterweise zeigten fast alle mit einem Logloss von 0,690 - 0,691 bei den Validierungsdaten auch bei den neuen Daten gute Ergebnisse, ich habe keine Ahnung, was das damit zu tun hat.