Maschinelles Lernen im Handel: Theorie, Modelle, Praxis und Algo-Trading - Seite 3175

 
СанСаныч Фоменко Optimierungsgraphen in Form einer "zweidimensionalen Fläche".

Sie kann zur Überwachung von Übertraining verwendet werden.

Wenn es in dieser Oberfläche möglich ist, ein Stück zu identifizieren, in dem eine Zelle von anderen Zellen mit ungefähr der gleichen Farbe umgeben ist, dann gibt diese zentrale Zelle die Parameter des NICHT übertrainierten TK an. Diese Position entspricht der Tatsache, dass das gefundene Optimum ein Plateau ist.

Sieht die "Oberfläche" jedoch wie ein Leopardenfell aus, ist der TS hoffnungslos, da der Tester eine große Anzahl von Maxima gefunden hat, was auf eine äußerst geringe Wahrscheinlichkeit hindeutet, sie in Zukunft zu treffen.

Das kann man nicht.

Die Beschaffenheit des Musters (Oberfläche) sagt nur etwas über die Eigenschaften des TS nach einem bestimmten Optimierungskriterium aus. Nimmt man ein anderes Kriterium, wird das Muster anders aussehen. Ein falsches Verständnis dieser Tatsache führt zu dem Irrglauben, dass die Optimierung (das Lernen) nicht bis zum globalen Maximum durchgeführt werden sollte, im Gegenteil. Der Schlüssel zum richtigen Lernen liegt in der Wahl eines zur Strategie passenden Optimierungskriteriums.

All dies ist bereits mehrfach diskutiert worden.

 
fxsaber #:
So ist das, ich habe eine Frage gestellt, und dann kamen die Profis mit ihren Antworten))))))

Wie eine Geschiedene auf einen jungen dummen IT-Typen))) wenigstens mit Stöcken zurückschlagen))))
 
fxsaber #:

Bitte klären Sie, welche Bedeutung diese Intervalle haben.

Im Moment stelle ich mir dieses Schema auf ihnen vor.

  1. Der Zahlenbrecher läuft auf Zug, filtert nach Test.
  2. Der Zahlenbrecher ist komplett ausgeschaltet. Und ein paar beste Ergebnisse werden zur Prüfung genommen.


Der erste Punkt erscheint seltsam. A la "Vorwärtstest" im Tester. Ist das besser als eine reine Optimierung ohne Filterung, aber mit einem kombinierten Intervall: Training+Test?

In der Medizin wird eine Gruppe von 60 ungefähr gleich kranken Patienten nach dem Zufallsprinzip in drei Gruppen aufgeteilt, die erste Gruppe wird mit einem neuen Medikament behandelt, die zweite mit einem alten, die dritte Gruppe wird nicht behandelt, sie erhält ein Placebo. Und wenn die erste Gruppe besser abschneidet als die zweite und die dritte, wird das Medikament als gut anerkannt und das Experiment an einer großen Zahl von Patienten einige Zeit wiederholt, d.h. überwacht, und dann in den freien Verkehr gebracht.

Es scheint logisch, dass die Wahrscheinlichkeit falsch positiver und negativer Ergebnisse sinkt, aber für mich ist es kein Allheilmittel gegen Fehler.

Und die kategorische Bewertung von Ergebnissen in verrauschten Studien kann ich bei all)))) nicht nachvollziehen oder anerkennen.

 
Andrey Dik #:

Nein, das können Sie nicht.

Der Charakter des Musters (der Oberfläche) sagt nur etwas über die Eigenschaften des Fahrzeugs nach einem bestimmten Optimierungskriterium aus. Nimmt man ein anderes Kriterium, wird das Muster anders aussehen. Dies führt zu dem Missverständnis, dass die Optimierung (das Training) nicht bis zum globalen Maximum durchgeführt werden sollte, im Gegenteil. Die Wahl eines zur Strategie passenden Optimierungskriteriums ist der Schlüssel zu einem korrekten Training.

All dies ist bereits mehrfach diskutiert worden.

Und jeder ist bei seiner eigenen Meinung geblieben. Wie es mir scheint, sind Sie der Einzige.

Man muss nach Plateaus suchen, nicht nach einzelnen Spitzen, die aufgrund der Zufälligkeit des Prozesses nie wieder auftauchen werden.

 
Valeriy Yastremskiy #:

In der Medizin wird eine Gruppe von 60 etwa gleich kranken Patienten nach dem Zufallsprinzip in drei Gruppen aufgeteilt, die erste wird mit einem neuen Medikament behandelt, die zweite mit einem alten, die dritte wird nicht behandelt, sie erhält ein Placebo. Und wenn die erste Gruppe besser abschneidet als die zweite und dritte, wird das Medikament als gut anerkannt und das Experiment wird an einer großen Anzahl von Patienten einige Zeit wiederholt, d.h. überwacht, und dann in den freien Verkehr gebracht.

Es scheint logisch, dass die Wahrscheinlichkeit falsch positiver und negativer Ergebnisse sinkt, aber für mich ist es kein Allheilmittel gegen Fehler.

Und die kategorische Bewertung von Ergebnissen in verrauschten Studien kann ich bei all)))) nicht nachvollziehen oder anerkennen.

Die Aufteilung der Datei in verschiedene Abschnitte und in dem von Ihnen genannten Beispiel die zufällige Aufnahme von Patienten in die Gruppe, die meiner Stichprobe entspricht, funktioniert nur, wenn die Prädiktoren für die Zielvariable relevant sind, d. h. es ist kein Unsinn. In der Medizin wird die Beziehung zwischen einem Medikament (Prädiktor) und einer Krankheit durch das Verständnis der Physiologie des Prozesses der Verabreichung des Medikaments in den Körper ermittelt. Wir müssen über andere Methoden verfügen, um die Beziehung zwischen dem Prädiktor und der Zielvariablen zu bestimmen - all dies ist Vorverarbeitung, die VOR dem Training des Modells erfolgt, und dieser Schritt ist obligatorisch.

Ebenso ist die Testarchitektur obligatorisch und muss VOR dem Übertraining des Modells durchgeführt werden.

 
СанСаныч Фоменко #:

Und jeder kann sich seine eigene Meinung bilden. Ich habe den Eindruck, Sie sind einzigartig.

Man muss nach Plateaus suchen, nicht nach einzelnen Spitzen, die aufgrund der Zufälligkeit des Prozesses nie wieder auftauchen werden.

Es ist mir eigentlich egal, dass ich der Einzige bin, es zeigt nur, dass es wirklich nur wenige Menschen gibt, die die Problematik verstehen))))

ob plateaus oder peaks - hängt von der fläche des optimierungskriteriums ab, dem kriterium! warum denkst du, dass sie oft das kriterium - fehler in MO verwenden? weil die fläche monoton ist))) d.h. sie versuchen immer, ein solches kriterium zu wählen, das möglichst monoton ist und möglichst ein globales hat.

Wir sollten also nicht nach einem Plateau suchen, sondern nach einem Kriterium mit möglichst monotoner Hypersurface.

Das Fehlerkriterium hat übrigens genau ein Global mit dem Wert 0. Und die Tatsache, dass man mit dem Training aufhören muss, ohne das Global zu erreichen, ist ein anderes Thema und hat nichts mit der Kriteriumsoberfläche zu tun.

 
wie sehr ich diese armen Menschen mit unreifem Verstand bemitleide, die diesen Unsinn lesen und denken, dass hier kluge Leute etwas Kluges diskutieren....
 
Maxim Dmitrievsky #:
Man könnte daraus schließen, dass Sie das schon seit Jahren tun. Oder Sie könnten einfach eine zufällige Suche durchführen, was Sie gerade tun.

Ich habe gerade geschrieben, dass die Zufallssuche ein unproduktiver Ansatz ist.

Ich verwende die Randomisierung mit einem Element der Zufälligkeit bei der Prädiktorenauswahl, wenn ich das Stichprobenpotenzial teste, und ich verwende sie seit Jahren in CatBoost.

Die Randomisierung rechtfertigt nicht die Erwartung, dass das Modell weiterhin funktioniert, weil die Antworten der Prädiktoren in das Modell randomisiert wurden.

 
Aleksey Nikolayev #:

IMHO sieht es nach Pi-Hacking aus, worüber Maxim kürzlich schrieb. Solange keine statistischen Tests verwendet werden, um die Bedeutung der zugewiesenen Quanten zu bestimmen, ist es definitiv er.

Ich habe einmal ein einfaches Beispiel gegeben, als die beste Stunde der Woche für den Handel auf SB ausgewählt wurde (obwohl es sie offensichtlich nicht gibt). Es gab nur 5*24=120 Varianten, aber es reichte aus, dass eine solche Stunde immer gefunden wurde (das Zeitintervall betrug ein halbes Jahr, glaube ich). Auch hier gibt es eine "Stichprobenstabilität".

Welche Signifikanztests schlagen Sie vor? Ich behaupte nicht, dass der Algorithmus zur Auswahl von Quantensegmenten perfekt ist, im Gegenteil - es gibt eine Menge Unsinn und ich möchte ihn verbessern.

Ich verstehe nicht, aufgrund welcher Anzeichen Sie entschieden haben, dass es sich um eine Art "Pi-Hacking" handelt - und welcher Teil genau, die Auswahl von Quantensegmenten oder das Screening von Strings, die gut und ohne Training durch Quantensegmente (d.h. Graphen, die ich gebaut habe) ausgesiebt werden? Ja, die Methode unterscheidet sich ein wenig von der üblichen Vorgehensweise beim Bau von Holzmodellen, aber nicht wirklich viel, das Konzept bleibt bestehen.

Was das Beispiel auf SB betrifft, so gibt es hier zwei Überlegungen:

1. Wenn der Prozess unbekannt ist und es nur Daten gibt, dann kann man ein Muster annehmen, dass es eine beste Stunde zum Handeln gibt. Oder gibt es eine Überlegung, die diese Hypothese widerlegt?

2. Wenn diese Beobachtungen relativ gleichmäßig über die Zeit verteilt waren (Ereignisverlauf), dann handelt es sich eher um einen Fehler des Zufallszahlengenerators.

Beim Training verwende ich Stichproben über einen großen Zeitraum - normalerweise mindestens 10 Jahre.

 
СанСаныч Фоменко #:

Die Aufteilung der Datei in verschiedene Abschnitte und in dem von Ihnen angeführten Beispiel die zufällige Aufnahme von Patienten in eine Gruppe, die meiner Stichprobe entspricht, funktioniert nur, wenn die Prädiktoren für die Zielvariable relevant sind, d. h. es ist kein Unsinn. In der Medizin wird die Beziehung zwischen einem Medikament (Prädiktor) und einer Krankheit durch das Verständnis der Physiologie des Prozesses der Einführung des Medikaments in den Körper ermittelt. Wir müssen über andere Methoden verfügen, um die Beziehung zwischen Prädiktor und Zielvariable zu bestimmen - all dies ist Vorverarbeitung, die VOR dem Training des Modells erfolgt, und dieser Schritt ist obligatorisch.

Ebenso ist die Testarchitektur obligatorisch und muss VOR dem Übertraining des Modells durchgeführt werden.

Leider nein. Die Phagozytose ist unter dem Mikroskop sichtbar, aber die Wissenschaft der Medizin, bei der das Mikroskop nicht weiterhilft, besteht darin, Hypothesen durch geeignete Experimente zu bestätigen.)

Übrigens wissen die Patienten nicht, in welcher Gruppe sie sich befinden. ))))

Im Allgemeinen, ähnliche Bedingungen, ohne das Verständnis der Ursache und Wirkung Beziehungen für diese Beziehungen zu suchen.

Grund der Beschwerde: