Diskussion zum Artikel "Die Grenzen des maschinellen Lernens überwinden (Teil 1): Mangel an interoperablen Metriken"

Neuer Kommentar
 

Neuer Artikel Die Grenzen des maschinellen Lernens überwinden (Teil 1): Mangel an interoperablen Metriken :

Es gibt eine mächtige und allgegenwärtige Kraft, die die kollektiven Bemühungen unserer Gemeinschaft, verlässliche Handelsstrategien zu entwickeln, die KI in irgendeiner Form einsetzen, leise untergräbt. In diesem Artikel wird festgestellt, dass ein Teil der Probleme, mit denen wir konfrontiert sind, auf das blinde Festhalten an „Best Practices“ zurückzuführen ist. Indem wir dem Leser einfache marktbasierte Beweise aus der realen Welt vorlegen, werden wir ihm erklären, warum wir von einem solchen Verhalten absehen und stattdessen bereichsgebundene „Best Practices“ anwenden müssen, wenn unsere Gemeinschaft eine Chance haben soll, das latente Potenzial der KI zu nutzen.

Stellen Sie sich vor, Sie nehmen an einem Lotterie-Wettbewerb teil. Sie und 99 andere Personen werden nach dem Zufallsprinzip ausgewählt, um um einen Jackpot von 1.000.000 Dollar zu spielen. Die Regeln sind einfach: Sie müssen die Körpergröße der anderen 99 Teilnehmer erraten. Der Gewinner ist die Person mit dem geringsten Gesamtfehler über alle 99 Tipps hinweg.

Jetzt kommt der Clou: Stellen Sie sich für dieses Beispiel vor, die durchschnittliche Körpergröße eines Menschen beträgt weltweit 1,1 Meter. Wenn Sie einfach 1,1 Meter für alle tippen, könnten Sie den Jackpot gewinnen, auch wenn jede einzelne Vorhersage technisch gesehen falsch ist. Warum? Denn in verrauschten, unsicheren Umgebungen führt das Erraten des Durchschnitts in der Regel zum kleinsten Gesamtfehler.


Autor: Gamuchirai Zororo Ndawana

 

"Unsere Strategie zeigt jedoch die Fähigkeit, sich zu erholen und auf Kurs zu bleiben, was genau das ist, was wir anstreben."

Ich habe immer gedacht, dass man danach streben sollte, dass eine Strategie Gewinne bringt :)

 
Maxim Dmitrievsky #:

"Unsere Strategie zeigt jedoch die Fähigkeit, sich zu erholen und auf Kurs zu bleiben, was genau das ist, was wir anstreben."

Ich habe immer gedacht, dass man danach streben sollte, dass eine Strategie Gewinne bringt :)

Ja, in der Tat, aber leider verfügen wir noch immer über keine standardisierten Metriken für maschinelles Lernen, die den Unterschied zwischen Gewinn und Verlust berücksichtigen.
 

Danke für den Artikel, @Gamuchirai Zororo Ndawana

Ich stimme mit @Maxim Dmitrievsky überein, dass das oberste Ziel die Rentabilität ist. Die Idee, sich zu erholen und auf dem richtigen Weg zu bleiben, ist sinnvoll, um die Robustheit und den Drawdown zu kontrollieren, aber sie ersetzt nicht den Gewinn.

Zu den Metriken: Es stimmt, dass es keine standardisierte ML-Metrik gibt, die PnL berücksichtigt, obwohl in der Praxis Modelle mit Sharpe, Sortino, Calmar, Gewinnfaktor, max. DD sowie asymmetrischen Verlusten oder Belohnungen beim Reinforcement Learning (RL-Stil) validiert werden, die PnL und Kosten (Kosten und Umsatz) einbeziehen.

Aus technischer Sicht würde ich zwei wichtige Punkte in dem Artikel überprüfen:
  • Die Beispiele enthalten Look-Ahead-Bias (Features mit i + HORIZON), was die Bewertung ungültig macht;
  • Der DRS-Test, bei dem "die Summe gleich Null ist", ist tautologisch, da die beiden Bezeichnungen konstruktionsbedingt antisymmetrisch sind; er beweist kein Marktverständnis.
Dennoch ist der Hinweis, nicht nach dem RMSE oder MAE der Renditen zu selektieren, nützlich.

Praktischer Vorschlag: Walk-Forward-Tests, Kosten und Slippage, asymmetrische oder quantile Verlust- oder Nutzen-basierte Ziele und Bestrafung des Umsatzes, um Mean Hugging zu vermeiden. (Pragmatischer Ansatz: Richten Sie den Verlust daran aus, wie Sie Geld verdienen.)
 

Zitiert: Ja, aber leider haben wir immer noch keine standardisierten Metriken für maschinelles Lernen, die den Unterschied zwischen Gewinn und Verlust kennen.

Antwort: Gewinn- und Verlustspalten gibt es nur dann, wenn Ihr backgetestetes Produkt oder der flache Markt so gut ist wie der Terminmarkt, den Sie gegen das nachfolgende Portfolio oder den Indexkorb verwenden, der dieser Orderlinie folgt.

Es gibt einige Indizes und neu gegründete ETFs, die für diesen Verwendungszweck herauskommen oder in zunehmendem Maße produziert werden und diese Ergebnisse und Gewinnspannen liefern, wie der Dowjones 30 Index sowie viele andere Indizes, die für diesen Verwendungszweck geschaffen wurden. Peter Matty

 
Miguel Angel Vico Alba # :

Thanks for the article, @Gamuchirai Zororo Ndawana

I agree with @Maxim Dmitrievsky that the ultimate goal is profitability. The idea of ​​​​recovering and staying on track makes sense for robustness and controlling drawdown, but it's no substitute for profit.

Regarding metrics: It is true that there is no standardized ML metric that takes PnL into account, although in practice, models are validated using Sharpe, Sortino, Calmar, Win Factor, Max DD, as well as asymmetric losses or rewards in reinforcement learning (RL style) that include PnL and cost (cost and revenue).

From a technical point of view, I would check two important points in the article:
  • The examples contain look-ahead bias (features with i + HORIZON), which invalidates the evaluation;
  • The DRS test, where "the sum is zero," is tautological because the two terms are antisymmetric by design; it does not demonstrate market understanding.
Nevertheless, the advice not to select based on the RMSE or MAE of returns is useful. Practical suggestions: Walk-forward testing, cost and slippage, asymmetric or quantile loss- or benefit-based targets, and penalizing revenue to avoid mean hugging. (Pragmatic approach: Align the loss with how you make money.)

Sometimes I wonder if the translation tools we rely on may fail to capture the original message. Your response offers a lot more talking points than what I understood from @Maxim Dmitrievsky  original message.

Thank you for pointing out those oversights in the look ahead bias (features with i + HORIZON), those are the worst bugs I hate, they neccisate an entire re-test. But this time more thoughtfully. 

You've also provided valuable feedback with the validation measures used to validate models in practice, Sharpe Ratio's must be akin to a universal Gold Standard. I need to learn more about Calmar and Sortino to develop an opinion on those, thank you for that.

I agree with you that the two terms are antisymmetric by design, and the test is that the models should remain antisymmetric, any deviation from this expectation, is failing the test. If one or both models have unacceptable bias then their predictions will not remain antisymmetric as we expect.

However, the notion of profit is only a simple illustration I gave to highlight the problem. None of the metrics we have today inform us when mean hugging is happening. None of the literature on statistical learning tells us why mean hugging happening. Unfortunately it's happening due to the best practices we follow, and this is just one of many ways I wish to get more conversations started on the dangers of best practices.

This article was more of a cry for help, for us to come together and design new protocols from the ground up. New standards. New objectives that our optimizers work on directly, that are tailored for our interests.

Neuer Kommentar