Diskussion zum Artikel "Gauß-Prozesse im maschinellen Lernen (Teil 1): Klassifikationsmodell in MQL5"
Ich habe mich noch nicht im Detail damit befasst, aber anscheinend habe ich schon etwas übersehen.
В отличие от таких методов, как ... деревья решений, которые выдают только метку класса, ГП позволяют получить вероятностное предсказание.
Meiner Meinung nach geben Bäume die Klassenwahrscheinlichkeit hervorragend wieder.
Für eine Klassifizierung, bei der die Zielwerte diskrete Klassenbezeichnungen sind, eignet sich die Gaußsche Wahrscheinlichkeit nicht.
Anscheinend wandeln „baumartige“ Klassifikationsalgorithmen die Wahrscheinlichkeiten in kontinuierliche „Logodds“-Werte um, und dann läuft die Klassifikation faktisch auf eine Regressionsaufgabe über diese kontinuierlichen Logodds-Werte hinaus. Warum lässt sich dies nicht auf die Gaußsche Wahrscheinlichkeit anwenden, was auch immer das sein mag? Leider habe ich diesen Begriff nirgendwo außer im Python-Handbuch gefunden, aber ich kenne die Gauß-Verteilung, die Gauß-Mischung, die Maximum-Likelihood-Methode und die Expectation-Maximization-Methode ;-).
Ich habe mich noch nicht eingehend damit befasst, aber anscheinend habe ich schon etwas übersehen.
Meiner Meinung nach geben die Bäume die Wahrscheinlichkeit einer Klasse hervorragend wieder.
Anscheinend wandeln „baumartige“ Klassifikationsalgorithmen die Wahrscheinlichkeiten in kontinuierliche „Logodds“-Werte um, und dann läuft die Klassifikation faktisch auf eine Regressionsaufgabe über diese kontinuierlichen Logodds-Werte hinaus. Warum lässt sich das nicht auf die Gaußsche Wahrscheinlichkeit anwenden, was auch immer das sein mag? Leider habe ich diesen Begriff nirgendwo außer im Python-Handbuch gefunden, aber ich kenne die Gauß-Verteilung, Gauß-Mischverteilungen, die Maximum-Likelihood-Methode und die Erwartungsmaximierung ;-).
Guten Tag!
Tatsächlich habe ich mir scikit-learn angesehen: Die Entscheidungsbäume geben die Klassenwahrscheinlichkeit aus. Aus irgendeinem Grund dachte ich, dass nur Ensemble-Methoden Wahrscheinlichkeiten ausgeben. Nun ja, man lernt nie aus, wie man so schön sagt.
Nun zur Gaußschen Wahrscheinlichkeit und warum sie für die Klassifizierungsaufgabe nicht geeignet ist.
Die Gaußsche Wahrscheinlichkeit ist die Wahrscheinlichkeitsdichte der Normalverteilung unter der Bedingung des mathematischen Erwartungswerts und der Varianz. Die Rolle des mathematischen Erwartungswerts spielt bei uns in der Gaußschen Wahrscheinlichkeit die verborgene Funktion f, und die Varianz ist faktisch das tatsächliche Datenrauschen.
Worin besteht der Unterschied zwischen der Wahrscheinlichkeit und einer gewöhnlichen Wahrscheinlichkeitsdichte? Bei einer gewöhnlichen Wahrscheinlichkeitsdichte setzen wir bestimmte Werte y bei festen Parameterwerten ein und erhalten die Wahrscheinlichkeit für dieses y.
Bei der Wahrscheinlichkeit ist es umgekehrt. Unser y ist fest, während sich die Verteilungsparameter ändern. Das heißt, die Wahrscheinlichkeit ist eine Funktion der Parameter. Die Wahrscheinlichkeit sagt uns beispielsweise, dass bei den Parametern 0,2 und 1 die Wahrscheinlichkeit unserer beobachteten Verlaufskurve y = 0,06 beträgt. Und bei den Parametern 0,8 und 1,2 beträgt die Wahrscheinlichkeit, y = 0,12 zu beobachten. Das heißt, wir sehen, dass der zweite Parametersatz die empirischen Daten, mit denen wir es zu tun haben, plausibler beschreibt. Daher auch der Name „Plausibilität“.
Warum können wir nun nicht einfach „logodds“ nehmen und auf die Gaußsche Wahrscheinlichkeit anwenden? Die Gaußsche Wahrscheinlichkeit setzt voraus, dass die beobachteten Daten y einer Normalverteilung folgen. Das heißt, dass y kontinuierliche Werte sind.
Im GP-Modell zur Klassifizierung lässt sich die verborgene Funktion f(x) als „logodds“ interpretieren. Diese Funktion sagen wir jedoch voraus, anstatt sie zu beobachten. Wir beobachten hingegen diskrete Labels y. Die Gaußsche Wahrscheinlichkeit wird jedoch genau auf die beobachteten Daten angewendet. Unsere beobachteten Daten sind diskret. Daher folgen sie im binären Fall der Bernoulli-Verteilung.
Für die Klassifizierungsaufgabe muss die Wahrscheinlichkeit die Wahrscheinlichkeit der diskreten Labels beschreiben, weshalb es hier naheliegend ist, gerade die Logit-Wahrscheinlichkeit zu wählen.
- Freie Handelsapplikationen
- Über 8.000 Signale zum Kopieren
- Wirtschaftsnachrichten für die Lage an den Finanzmärkte
Sie stimmen der Website-Richtlinie und den Nutzungsbedingungen zu.
Neuer Artikel Gauß-Prozesse im maschinellen Lernen (Teil 1): Klassifikationsmodell in MQL5 :
Wir setzen unsere Einführung in Gauß-Prozesse (GP) als Modell des maschinellen Lernens fort. Im vorherigen Artikel haben wir das Regressionsproblem im Detail untersucht, bei dem das Hauptziel die Vorhersage kontinuierlicher Werte war. Heute müssen wir uns mit einem weitaus komplexeren Thema befassen – der Klassifikation. Die zentrale Schwierigkeit besteht darin, dass sich die Inferenz bei der Klassifikation mit Gauß-Prozessen nicht in geschlossener Form lösen lässt, was den Einsatz von Näherungsverfahren wie der Laplace-Approximation erfordert.
Um dieses komplexe Problem effektiv zu lösen, werden wir eine modulare Bibliothek für Gauß-Prozesse in MQL5 entwickeln. Dieser Ansatz ermöglicht es uns, den Code zu strukturieren, indem das GP-Modell in unabhängige Komponenten unterteilt wird, und bietet eine solide Grundlage für weitere Verbesserungen und Erweiterungen. Diese Bibliothek wird zu einem universellen Werkzeug für Regressions- und Klassifikationsaufgaben.
Im ersten Teil des Artikels werden wir die Theorie der GP-Klassifikation im Detail untersuchen, einschließlich der Mathematik, die den Näherungsverfahren zugrunde liegt. Wir werden zudem die Hauptklasse der Bibliothek vorstellen – GaussianProcess, die alle Komponenten des Modells vereint, sowie die Klasse GPOptimizationObjective, die für die Kommunikation mit der Alglib-Optimierungsbibliothek zuständig ist.
Autor: Evgeniy Chernish