Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 1322

 
Yuriy Asaulenko:

Leute, hier geht es um MO, nicht um Handelsstile und Stopps. Was hat das mit ihnen zu tun?

Ich wollte das Thema in der NS diskutieren, aber wie sich herausstellte, gibt es niemanden, mit dem man darüber diskutieren kann.

 
Yuriy Asaulenko:

Erst gestern kam ein Gespräch über die Vorhersage von Sinuskurven auf, und ich erinnerte mich an mein altes Thema:

(Maxim, Sie haben sich noch über dieses Thema lustig gemacht. Ich bin nachtragend und schreibe alles auf).

Ich muss sagen, dass es umsonst war, aber das Thema wurde abgewürgt und kam nie zur Sache. Vielleicht, weil die Formulierung nicht sehr klar war.

Eigentlich brauchen wir gar kein Problem zu lösen. Sie müssen eine Funktion, wie die im Thema beschriebene, oder besser noch eine etwas kompliziertere nehmen. Erstellen Sie ein künstliches Werkzeug mit dieser Funktion und lassen Sie es im Prüfgerät auf einer bereits funktionierenden Strategie laufen. Im Idealfall sollte der Gewinn auf den arbeitenden TS übergehen. Oh, ich vergaß, die Funktion sollte vorher normalisiert werden, so dass sie ungefähr dem Symbol entspricht, auf dem der TS eingerichtet ist. Dann können wir Rauschen hinzufügen und sehen, was passiert.

Ich mache keine Prognosen und habe auch keinen solchen TS parat, so dass ich das in nächster Zeit nicht überprüfen kann. Aber in ferner Zukunft habe ich das vor.

Nun zu der Frage, warum wir das alles brauchen.

Angenommen, wir müssen die NS- (oder andere MO-) Prognosen unterrichten. Normalerweise werden die anfänglichen Gewichte des NS zufällig initialisiert, und wenn der NS beim Training in Min-Max-Werte gerät, ist das eine sehr große Frage.

Gehen wir wie folgt vor.

1. Erzeugen Sie eine nicht zufällige Funktion in der Nähe des Markt-BP und verwenden Sie diese, um einen zufällig initialisierten NS zu unterrichten. Prüfen Sie es und so weiter. Jetzt ist unser NS in Bezug auf die Einstellungen nahe an dem, was wir brauchen, aber bisher sind wir nicht in der Lage, das eigentliche Problem zu lösen.

2. Wir führen das Training des NS (siehe Punkt 1) mit echten BP durch. Wir haben bereits eine gewisse Gewissheit, dass die vorläufigen NS-Einstellungen irgendwo in der Nähe von Min-Max-Bereichen liegen und im Laufe des Pre-Trainings dorthin gehen, wo sie hingehören, aber nicht zu irgendeinem zufälligen Min-Max.

Die Analogie ist die eines Schülers, dem zunächst beigebracht wird, einfache Aufgaben zu einem Thema zu lösen, und der dann immer kompliziertere Aufgaben bekommt. Ein Unterricht à la Schüler ist effektiver als der Versuch, sie von Anfang an zum Lösen komplexer Probleme zu zwingen.

Im Allgemeinen ist die Methode nicht eine Öffnung, irgendwo in der Literatur kam es vor, aber es gibt viele Bücher, und ich allein nicht erinnern. Auf jeden Fall habe ich über seine Umsetzung nachgedacht. Der allererste Versuch, eine fertige TS zur Vorhersage einer analytischen Funktion zu verwenden, muss im Allgemeinen schrittweise erfolgen.



wenn dieser nicht gepatzt hätte, hätten Sie vor 2 Seiten ein Beispiel mit einem fe

Ich verstehe die Idee der Initialisierung von Gewichten und so weiter nicht. Dann braucht man ein Vor-Lern-Gitter, und was bringt es, auf etwas zu trainieren, das überhaupt nicht dem entspricht, was vorhergesagt werden muss

Ich vermute, Sie versuchen, die Grundlagen des Verstärkungslernens zu imitieren.

 
Maxim Dmitrievsky:

Wenn der Trottel nicht gepatzt hätte, hätten Sie vor 2 Seiten ein Beispiel mit einem F-Auge gesehen.

Ich verstehe die Idee mit der Initialisierung von Gewichten und so nicht, dann braucht man ein Vor-Lern-Gitter, und was bringt es, mit etwas zu trainieren, das nicht einmal dem entspricht, was man vorhersagen muss.

Ich nehme an, Sie versuchen, die Grundlagen des Reinforcement Learning darzustellen.

Nein, Sie brauchen kein Raster zum Vorlernen.

1. Pre-Training auf nahe und klar vorhersehbare Daten. Sie können von realen Daten ausgehen - Splines, Polynome, Fourier oder was auch immer.

2. Post-Training des Netzes gemäß S. 1 (mit nicht-zufälliger Initialisierung) auf den realen Daten.

Für die Vorhersage kann ich mir das vorstellen, und ich denke, dass es die Ergebnisse verbessern kann. Was die Klassifizierung angeht, weiß ich nicht, was ich tun soll.

Beispiel mit Funktion - darum geht es hier nicht. Es gibt eine Vielzahl solcher Beispiele.

 
Maxim Dmitrievsky:

Alexey hat nicht den schlechtesten, sondern einen der besten Katalysatoren für die Forschung gewählt. Es wird zum Beispiel am CERN verwendet, um die Ergebnisse von Kollisionen zu analysieren... der sich mit Quantenzufälligkeit beschäftigt).

Sehr interessant). CERN XGBoost wurde zufällig entdeckt.

Es überrascht nicht, dass das CERN dies als den besten Ansatz für die Klassifizierung von Signalen des Large Hadron Collider erkannt hat. Dieses spezielle Problem des CERN erforderte eine skalierbare Lösung für die Verarbeitung von Daten, die mit einer Geschwindigkeit von 3 Petabyte pro Jahr erzeugt werden, und eine effiziente Unterscheidung eines extrem spärlichen Signals vom Hintergrundrauschen in einem komplexen physikalischen Prozess. XGBoost wurde die nützlichste, einfachste und zuverlässigste Lösung. (6. SEPTEMBER 2018)

__________________________________

CatBoost wurde vom Europäischen Zentrum für Kernforschung (CERN) im Rahmen der Forschung am Large Hadron Collider (LHCb) eingeführt, um Informationen aus verschiedenen Teilen des LHCb-Detektors zu einem möglichst genauen, aggregierten Teilchenwissen zu kombinieren. Durch den Einsatz von CatBoost zur Kombination der Daten konnten die Wissenschaftler die qualitative Leistung der endgültigen Lösung verbessern, wobei die CatBoost-Ergebnisse besser waren als die mit anderen Methoden erzielten[6][7].

_______________________________________

Es ist alles so ziemlich das Gleiche. Welches ist nun Catbust oderXGBoost? ) Ich frage mich, wer hier wen betrogen hat? ))

 
Aleksey Vyazmikin:

Die Zukunft ist ungewiss, Muster kommen und gehen, das ist normal, aber es ist fraglich, ob sie unbedingt kurzfristig sein müssen. Aufgrund der Trendstrategie habe ich keine sehr große Stichprobe, daher halte ich es für unangemessen, sie noch weiter zu reduzieren.

Ich beschloss jedoch, ein Experiment durchzuführen, um die Effektivität des Trainings mit unterschiedlichen Anteilen der Trainings- und Teststichprobe zu untersuchen, die am Training beteiligt waren. Der Schritt wird 10% betragen, d.h. am Anfang wird die Trainingsstichprobe 90% und die Teststichprobe 10% betragen, und dann wird die Teststichprobe schrittweise um 10% erhöht. Jede Stichprobe wird 200 Modelle enthalten - mal sehen, was passiert. Eine andere Frage ist, wie man diese Kombinationen am besten vergleicht, nach einem durchschnittlichen oder absoluten Kriterium - Ideen werden akzeptiert.

Bei kurzfristigen Mustern - von 10-15 Minuten bis maximal 1 Stunde - ist die Wahrscheinlichkeit, dass sich durch bedeutende Ereignisse etwas ändert, sehr gering, vor allem, wenn wir bereits eine Vereinbarung über ein bedeutendes Ereignis getroffen haben. In mehr als einer Stunde - was dann passieren wird, ist zumindest für mich ungewiss. Dies ist kein Widerspruch zu Ihnen, sondern eine Unterstützung meiner Meinung).

Ich habe beschlossen, Ihrem Weg zu folgen, mit meinen Änderungen und meiner Sicht des Themas. Zumal alle notwendigen Prädiktoren bereits vorhanden sind. Während ich beschlossen habe, XGBoost auszuprobieren, sah es für mich etwas anders aus - oder ich war von den CatBoost-Dokumenten nicht beeindruckt (XGBoost ist imho übersichtlicher), oder etwas anderes. Ich habe noch nicht verstanden, was es mit der Rationierung auf sich hat. Bei NS ist es schwierig, alles zu rationieren.

 
Yuriy Asaulenko:

Alle fast genau gleich. Welches ist nun Catbust oderXGBoost? ) Ich frage mich, wer hier wen betrogen hat? ))

Und es wäre gut, dies zu verstehen, bevor man darauf basierende Modelle erstellt und sie in das Marktchaos entlässt.

Ich erinnere mich, dass sie vor etwa einem halben Jahr versucht haben, CatBoost hier zu testen, und im Gegensatz zu XGBoost konnte es nicht einmal das Einmaleins lernen.

Ich weiß nicht, vielleicht haben sie jetzt beschlossen, dass sie, wenn es einfache Dinge nicht lernen kann, es bei komplexen Dingen versuchen sollten, und vielleicht ist es wirklich cool.

Um dies festzustellen, können Sie wahrscheinlich die oben vorgeschlagenen synthetischen Blutdruckmessgeräte verwenden.

 
Ivan Negreshniy:

Und es wäre gut, dies zu verstehen, bevor man darauf basierende Modelle erstellt und sie in das Marktchaos entlässt.

Ich erinnere mich, dass sie vor etwa einem halben Jahr versucht haben, CatBoost zu testen, und dass es im Gegensatz zu XGBoost nicht einmal das Einmaleins lernen konnte.

Ich weiß nicht, vielleicht haben sie jetzt beschlossen, dass sie, wenn es einfache Dinge nicht lernen kann, es bei komplexen Dingen versuchen sollten, und vielleicht ist es wirklich cool.

Und das würde wahrscheinlich in der Lage sein, zu bestimmen, dass Sie die oben vorgeschlagene synthetische BP verwenden können.

Zumindest hat XGBoost eine viel bessere Dokumentation und mehr. Der CatBoost hat, abgesehen von den Yandex-eigenen Materialien, nur sehr wenige andere, auf einen Blick.

 
Yuriy Asaulenko:

Nach den kurzfristigen Mustern - von 10-15 Minuten bis maximal 1 Stunde - ist die Wahrscheinlichkeit sehr gering, dass bedeutende Ereignisse irgendetwas verändern, zumal wir bei einem bedeutenden Ereignis bereits einen Handel eingegangen sind. In mehr als einer Stunde - was dann passieren wird, ist zumindest für mich ungewiss. Dies ist kein Widerspruch zu Ihnen, sondern eine Unterstützung meiner Meinung).

Ich betrachte die Wahrscheinlichkeitsvariabilität als Teil meiner Strategie nicht auf diese Weise. Wenn das Modell ein Signal zum Einstieg gegeben hat, dann steigen wir ein, weil gerade jetzt (einfach gesagt, nach den im Training erhaltenen Statistiken) die Bedingungen dafür günstig sind und der Ausstieg in meinen verschiedenen Versionen von TS unterschiedlich ist - entweder durch TP/SL oder nur durch SL. Infolgedessen wird die Vorhersage vor dem Schließen der Position nicht aufgehoben und kann bis zu drei Stunden arbeiten. Das bedeutet, dass ich nicht den genauen Zeitpunkt vorhersage, sondern eher die Wahrscheinlichkeit, dass ich zu dem Preis zurückkehre, der vor x Takten lag, also das Ende des lokalen Flats.

Aber ich habe über etwas ganz anderes geschrieben, nämlich über die Wiederholungsperiodizität des identifizierten Musters in der Zeit, dass, wenn das Muster während drei Jahren aufgetreten ist und zu vorhersehbaren Ereignissen geführt hat, dann besteht eine größere Chance, dass es auch im vierten Jahr seine Arbeit fortsetzen wird, während das in einem kleinen Teil der Trainingszeit identifizierte Muster nur eine Beschreibung einer Situation in der oberen TF (Trend auf einem Wochenchart) sein kann.

Das ist jedenfalls meine theoretische Spekulation, ich werde jetzt die Ergebnisse des Experiments verarbeiten, und die Situation wird hoffentlich transparenter werden.

Yuriy Asaulenko:

Ich habe beschlossen, Ihrem Weg zu folgen, mit meinen Änderungen und meiner Vision des Themas. Zumal alle notwendigen Prädiktoren bereits vorhanden sind. Während ich mich entschlossen habe, XGBoost auszuprobieren, schien er mir etwas - ob docs CatBoost nicht beeindruckt (XGBoost, imho, klarer), oder was sonst. Ich habe noch nicht verstanden, was es mit der Rationierung auf sich hat. Bei NS ist es schwer, alles zu normalisieren.

Catbust hat mehr Optionen, es ist die Fortsetzung der XGBoost-Ideenentwicklung, Hauptvorteil und gleichzeitig Minuspunkt sind Bäume mit fester Dimension, die ein erneutes Training verhindern, wenn ihre Anzahl nicht groß ist.

Für eine reine Klassifizierung muss nichts normalisiert werden. Ich führe jedoch eine Vorverarbeitung in den Prädiktoren durch, reduziere den Wertebereich und zerlege den Bereich selbst empirisch in Gruppen. Vielleicht wäre das Ergebnis ohne diese Umwandlungen besser gewesen - ich habe es nicht überprüft. Einerseits sagen die Entwickler, dass ich nichts selbst konvertieren muss, andererseits gibt es verschiedene Einstellungen für den Algorithmus der Ziffernkonvertierung, und außerdem kann ich meine eigene Aufschlüsselung aus einer separaten Datei verwenden. Dies bezieht sich zwar auf Catbust, aber ich denke, die Logik ist überall dieselbe.

 
Ivan Negreshniy:

Und es wäre gut, dies zu verstehen, bevor man darauf basierende Modelle erstellt und sie in das Marktchaos entlässt.

Ich erinnere mich, dass sie vor etwa einem halben Jahr versucht haben, CatBoost zu testen, und dass es im Gegensatz zu XGBoost nicht einmal das Einmaleins lernen konnte.

Ich weiß nicht, vielleicht haben sie jetzt beschlossen, dass sie, wenn es einfache Dinge nicht lernen kann, es bei komplexen Dingen versuchen sollten, und vielleicht ist es wirklich cool.

Und um das festzustellen, könnten Sie wahrscheinlich die oben vorgeschlagenen synthetischen Blutdruckmessgeräte verwenden.

CatBoost und XGBoost haben unterschiedliche Baumtiefen, ich erinnere mich, dass CatBoost erfolgreich eine Reihe von Bäumen hinzugefügt hat.

Und was die Suche nach verschiedenen Funktionen mit Bäumen angeht, so ist es besser, sie mit NS zu suchen und die Ergebnisse als Prädiktoren für die Klassifizierung zu verwenden. Jedenfalls bin ich kein Befürworter der Rohkostfütterung, aber Maxim hatte damit Erfolg, auch wenn eine häufigere Umschulung erforderlich ist.

 

Für diejenigen, die an der Fähigkeit von NS zweifeln, Funktionen zu beschreiben


Grund der Beschwerde: