Wie teste ich einen Handelsroboter vor dem Kauf

Der Kauf eines Handelsroboters am MQL5 Markt hat bestimmte Vorzüge gegenüber ähnlichen Möglichkeiten - ein automatisiertes System kann direkt im MetaTrader5-Terminal getestet werden. Vor dem Kauf kann und soll ein Expert Advisor sorgfältig in allen ungünstigen Modi im eingebauten Strategietester ausgeführt werden, um das System komplett zu verstehen, da jeder Expert Advisor, der am MQL5-Markt angeboten wird, eine Demoversion zur Verfügung hat.

Nicht vergessen! Sie riskieren nicht nur Ihren Einsatz beim Kauf eines Handelsroboters, sondern auch potentielle Verluste, die als Ergebnis der Verwendung solcher Handelsroboter beim Handeln vom echten Account aufkommen können.

Betrachten wir nun das Beispiel eines gratis Three Moving Averages Expert Advisor den wir direkt in das MetaTrader5-Terminal downloaden. Das ist die Implementierung einer klassischen Handelsstrategie, die auf drei gleitende Durchschnitte basiert.

Expert Advisor Evaluierungsmethoden basierend auf Testergebnisse

Obwohl es keine allgemeine Methode gibt, die die hundertprozentige Leistung eines Expert Advisors garantiert, gibt es ein paar einfache Methoden, mit denen man die Hauptparameter jedes bestimmten Handelssystems im Strategietester des MetaTrader5-Terminals überprüfen kann. Die wichtigsten Methoden sind:  

• Stress-Test in den verschiedenen zufälligen Modi,
• Test in einer anderen Handelsumgebung,
• Test in einem anderen Symbol/Zeitrahmen,
• Rückvergleich schlechter Verlaufsdaten,
  
• Rückvergleich über verlängerte Verlaufszeiten (nach der Veröffentlichung des Expert Advisors auf dem MQL5-Markt),
• Vorwärts-Prüfung.

Außerdem sollte man auf potentiell verdächtige Faktoren achten, wie zum Beispiel:

• zu hoher Ertragsfaktor,
• großer Gewinnwert von Verlaufsdaten,
• eine große Anzahl an externer Parameter in einem Handelssystem,
• komplizierte Regeln des Geldmanagements.
  

Obwohl alle obigen Aufgaben einfach sind, sind sich die meisten Programmierneulinge, aber auch erfahrene Händler, oft nicht bewusst über diese Nuancen, oder sie übersehen sie. Beachten wir also noch einmal, dass jeder vom MQL5-Markt heruntergeladene Handelsroboter für direkte Tests im Navigationsfenster eingestellt werden kann.

Das Bedienfeld des Strategietesters mit dem ausgewählten Expert Advisor wird automatisch erscheinen, wenn man "Text" im Kontextmenü auswählt. Nun können wir den heruntergeladenen Expert Advisor testen und eine detaillierte Untersuchung der Evaluierungsmethode liefern.

Stress-Test im Random-Delay-Modus

Der Strategietester wurde primär erstellt, um die Handelsregeln eines Systems zu testen. Das heißt, dass der Strategietester für alle Prozesse die ideale Umgebung emuliert:

• Senden von Handelsanfragen,
• Statusupdates von offenen Positionen und ausstehenden Befehlen,
• Empfang von Handelsereignissen,
  
• Empfang von Preisverlauf,
• Berechnung von Indikatoren und anderem.

Alles wird an das Testen und die Optimierung von Handelsstrategien innerhalb einer minimalen Zeit ausgerichtet. Da jedoch die Arbeitsweise eines Handelsroboters in echter Umgebung nicht ideal ist, wurde der Strategietester durch einen weiteren Testmodus erweitert, der einen Random Delay (zufällige Verzögerung) zwischen dem Senden und der Ausführung eines Handelsbefehls macht.

Dieser Testmodus deckt genau auf:

• Fehler der Handelsereignisse
• Anpassung der Strategie an bestimmte Handelsbedingungen
  

Der Erhalt von eindeutig anderen Handelsergebnissen nach der Ausführung eines einzelnen Tests des Expert Advisors in zwei Modi, Standard und Random Delay, sollte Ihnen zu denken geben. Schauen Sie sich zuerst das Strategietester-Protokoll an, da die vielen Handelsfehler, die es enthält, ausreichende Gründe sein sollten, einen Expert Advisor nicht zu verwenden. In unserem Fall wurden keine Fehler dieser Art im Verlauf der Stress-Tests in der Random Delay Modus entdeckt, was bedeutet, dass der Expert Advisor erfolgreich die erste Hälfte des Tests bestanden hat.

Schauen wir nun, ob es Unterschiede gibt zwischen den Handelsergebnissen, die durch Einzeltests erhalten wurden und in zwei Modi liefen. Die bedeutend geringere Anzahl an Handeln und Gewinnen im Random Delay Modus weist darauf hin, dass die Strategie von der Qualität der Übertragung und der Ausführung von Handelsbefehlen abhängt, und nur unter bestimmten, idealen Bedingungen verdienen kann. Der Entwickler hat dies wahrscheinlich unabsichtlich gemacht, wie so oft. Aber solch ein Mangel kann sich katastrophal auf Ihren Handelsaccount auswirken.

In diesem Beispiel beeinträchtigte ein Wechsel zu einem anderen Ausführungsmodus von Handelsbefehlen nicht die Anzahl von Handeln und Transaktionen. Die Testergebnisse unterscheiden sich ein bisschen, was angemessen erklärt werden kann durch kleine Preisänderungen in Transaktionen wegen neuen Angeboten.  

Fazit: der Three Moving Averages Expert Advisor hat diesen Test bestanden. Ein Stress-Test im Random Delay Modus hat keine großen Auswirkungen auf die Handelsergebnisse.

Test in einer anderen Handelsumgebung,

Testen Sie einen Handelsroboter unter den Bedingungen in der Beschreibung unter MQL5-Markt. Verbinden Sie sich dann mit einem anderen Broker-Account und führen den Test noch einmal durch. Das ist ziemlich ähnlich wie die vorigen Stresstests und Sie können sehen, wie kleine Veränderungen in Preisen und Handelsbedingungen (spread, permissiblae StopLoss/TakeProfit Levels, etc.) die Handelsergebnisse beeinflussen können.

Wenn Sie zum Beispiel die Expert Advisor Testergebnisse für EURUSD auf dem Account broker A haben. Lassen Sie den selben Test auf EURUSD laufen, nur diesmal mit dem Account broker B. Sollten die Ergebnisse sehr unterschiedlich sein, wäre das ein guter Grund, solch einen Handelsroboter nicht zu kaufen.

Anderes Symbol/Zeitrahmen

Der Großteil der Handelsroboter wird entwickelt um mit einem bestimmten Symbol zu handeln und einige von ihnen müssen innerhalb eines bestimmten Zeitrahmens verwendet werden. Das scheint recht angemessen, da jedes Instrument sich anders verhält. Daher sollten Symbol und Zeitrahmen in der Regel immer in der Beschreibung eines Handelsroboters am MQL5-Markt festgelegt sein.

Laden Sie eine Demoversion des Expert Advisor herunter und starten Sie ihn an einem anderen Symbol und/oder Zeitrahmen. Als erstes müssen Sie sicherstellen, dass der Expert Advisor nicht durch einen kritischen Fehler zusammenbrechen wird oder das Protokoll mit Handelsfehlernachrichten füllen wird, da er unter unangemessenen Startbedingungen verwendet wurde.  Zweitens sollten Sie überprüfen, ob eine rentable Handelsstrategie große Verluste gemacht hat, wegen den obigen Änderungen in den Einstellungen - das kann passieren, wenn man sich an die Kurve angepasst hat.

Die einfachste Art, so einen Text für den Expert Advisor zu machen, ist, ihn mit allen Symbolen, die über Market Watch ausgewählt wurden, zu optimieren. Wir lassen die Optimierung des Expert Advisor in diesem Modus ziemlich lange laufen (Zeitrahmen H1) mit der Generierung "every tick" und bekommen eine schnelle Antwort auf die zweite Frage.

Ergebnisse dieser Optimierung zeigen die Existenzberechtigung der Strategie, da sie eine statistisch ausreichende Anzahl von Handeln in jedem Symbol hat ohne schlechte Ergebnisse zu liefern. Wir haben eine Strategie an allen 13 Symbolen in der Market Watch getestet mit den standardmäßig selben Parametern.

Wir können nicht erwarten, dass jeder Expert Advisor gleich gut an allen Symbolen und Zeitrahmen gearbeitet hat. Aber es macht Sinn, dies im Strategietester mit dieser Methode zu überprüfen. So können nicht nur mögliche Code-Fehler identifiziert werden, sondern auch neue Ideen entstehen.

Fazit: Das Verhalten der Three Moving Averages Expert Advisor war normal, wenn sie auf ein bestimmtes Symbol oder in einem bestimmten Zeitrahmen getestet wurden. Keine offensichtlichen Code-Fehler wurden während dem Testen entdeckt.

Rückvergleich schlechter Verlaufsdaten

Wir haben herausgefunden, dass der Expert Advisor bei der Arbeit mit GBPUSD beste Ergebnisse liefert. Aber was, wenn es kein gleichbleibendes Muster gibt, und dieses Verhalten besteht, weil das Testintervall vom 2012.01.01 bis 2012.09.28 war, was sich aus purem Zufall als günstig herausstellte? Um näher auf diese Fragestellung einzugehen, testen wir den Expert Advisor mit den selben Parametern über 2011, mit 2011.01.01-2011.12.31 als Intervall. Wir lassen den Test laufen und schauen uns die Ergebnisse an.

Der Expert Advisor ist nicht länger rentabel und beeindruckt schon weniger. Außerdem übersteigen Verluste von 2011 signifikant Gewinne, die im Strategietester von 012.01.01-2012.09.28 gezeigt wurden. Nun sind uns aber die potentiellen Verluste bewusst, auch wenn wir mit GBPUSD handeln.

Fazit: der Three Moving Averages Expert Advisor benötigt Weiterentwicklungen, um sicherzustellen, dass automatische Antworten auf Veränderungen im Markt reagieren, oder es müssen die richtigen Parameter für jedes Intervall durch Optimierung gefunden werden.

Rückvergleich über längere Zeitperioden

Bei Beschreibungen versuchen Entwickler von Handelsrobotern, ihre Produkte von ihrer besten Seite darzustellen und daher bieten sie Berichte und Testdiagramme mit den besten Parametern für ein bestimmtes Intervall. Da zwischen der Veröffentlichung des Handelsroboters und dem Tag, an dem Sie an ihm Interesse zeigen wahrscheinlich eine geraume Zeit vergangen ist, können wir eine sogenannte Vorwärts-Prüfung machen.

Eine Vorwärts-Prüfung ist ein Test über eine bestimmte Periode, die nicht in Betracht gezogen wurde bei der Auswahl von optimalen Parametern. Wir werden die Analyse des Expert Advisors über GBPUSD über ein längeres Testintervall weiterführen, zusammen mit Daten nach September 28, 2012. Das Enddatum ist auf den 2012.11.26 eingestellt, mit zwei Extramonaten. Nach dem Testdurchlauf in der Periode 2012.01.01 bis 2012.11.26 bekommen wir ein neues Testdiagramm:

In unserem Fall sind die Ergebnisse des Three Moving Averages Expert Advisor über ein zusätzliches kurzes Intervall (Vorwärts) sogar besser als die, die über eine Periode von zehn Monaten erreicht wird. Das ist aber sehr selten.

Fazit: ein Test der Three Moving Averages Expert Advisor in GBPUSD über die verlängerte Zeitperiode hat keine Schwächung der Handelsparameter gezeigt.

Vorwärts-Prüfung

Mit der Vorwärts-Prüfung wird die Stabilität des Handelssystems im sich verändernden Marktverhalten beurteilt. Mit der Optimierung von Parametern im Strategietester können wir die Parameter bekommen, mit denen der Handelsroboter am besten mit Verlaufsdaten in einem bestimmten Intervall war. Aber das ist keine Garantie, dass die erhaltenen Parameter die besten sind, auch wenn sie in der Zukunft zum Handeln verwendet werden.

Händler, die automatische Handelssysteme entwickeln, verwechseln oft Konzepte wie Optimierung und Kurvenanpassung. Die Grenze zwischen einer fairen Optimierung und einer Kurvenanpassung ist sehr verwischt und schwer zu finden. Deswegen sind Vorwärts-Prüfungen nützlich, denn mit ihnen kann man die erhaltenen Parameter objektiv beurteilen.

Nach der Optimierung des MetaTrader5-Strategietesters können Sie entscheiden, die Vorwärts-Prüfung an optimalen Parametern durchzuführen und die notwendigen Grenzen zu setzen. Führen wir die Vorwärts-Prüfung unseres Handelsroboters mit den Einstellungen wie unten durch.

Vorwärts wird bei 1/4 gestellt, das heißt, das festgesetzte Intervall 2012.01.01- 2012.11.26 wird in 4 Teile geteilt. Mit den ersten 3/4 des Verlaufs werden die optimalen Parameter gesucht und die besten 25% (Expert Advisor Parametereinstellungen) werden der Vorwärts-Prüfung unterzogen für das verbleibende 1/4 der Daten.

Legen Sie die zu optimierenden Parameter fest - wir werden jene auswählen, die wahrscheinlich Auswirkungen auf die Handelslogik haben. Daher werden wir nicht Parameter optimieren, die sich um das Geldmanagement kümmern.

Die obige Kombination der Schritte, genauso wie die Start- und Stoppwerte, hat beinahe 5 Millionen Ergebnisse. Unter diesen Bedingungen ist es ratsam, einen genetischen Algorithmus zu verwenden, und die MQL5 Cloud in der Optimierung zu involvieren.

Schauen wir uns also die Ergebnisse der Optimierung mit Vorwärtsdurchgängen an, die insgesamt 21 Minuten benötigten und 0,26 Kredite gekostet haben für mehr als 4000 Durchgänge mit den Cloud-Agenten. Ein Beispiel, wie die Kosten berechnet werden, ist im Artikel MQL5 Cloud: Rechnen Sie immer noch?

Auf den ersten Blick scheint etwas falsch zu sein. Bei der Überprüfung der Ergebnisse sehen wir, dass die ersten drei optimierten Parameter die selben in allen Durchgängen sind. Und nur die letzten zwei Parameter Inp_Signal_ThreeEMA_StopLoss und Inp_Signal_ThreeEMA_TakeProfit haben wechselnde Werte.

Darüber können wir zwei Annahmen machen:

• Diese Parameter, im Besonderen die Werte StopLoss und TakeProfit, haben im Endeffekt keinen Einfluss auf Handelsergebnisse;
• der genetische Algorithmus konnte nicht aus dem lokalen Extremum heraus, das wir während der Optimierung erreicht haben.
  

Überprüfen wir die beiden Annahmen durch eine Rück-Optimierung mit den selben Einstellungen und Eingabe-Parametern. Diesmal schaut das Diagramm der Ergebnisse der Vorwärts-Prüfung ein bisschen anders aus.

Als Ergebnis der Optimierung sehen wir nun drei Hauptstränge. Das heißt, dass die letzten zwei optimierten Parameter immer noch zufällig beim gegebenen Handelsroboter erscheinen.

Fazit: Optimierung des Three Moving Averages Expert Advisor bei GBPUSD zeigt, dass die Handelslogik nur von drei Parametern von sieben abhängt.

Machen wir nun einen letzten Versuch und entfernen wir überflüssige Parameter von der Optimierung. Wir haben nun lediglich 1650 Durchgänge.

Eine vollständige Parametersuche würde daher mehr Sinn machen, als genetische Optimierung. Die MQL5 Cloud wird uns in diesem Fall mehr Agenten anbieten und die für die Vollendung des Prozesses benötigte Zeit wird als Ergebnis bedeutend verringert.

Die Aufgabe wurde innerhalb von 7 Minuten mit 2000 Cloud-Agenten beendet und das Diagramm der Vorwärts-Prüfung schaut gut aus.

Die meisten Durchgänge der Vorwärts-Periode stellten sich als rentabel heraus, und die Anzahl der Punkte über den anfänglichen 10.000 Dollar ist viel größer als in der Verlust-Zone. Es schaut einigermaßen vielversprechend aus, aber das heißt nicht, dass die Parametersätze sich auch in Zukunft als rentabel erweisen.

Die Anzahl der Parameter in einem Handelssystem

Wir konnten nun sehen, dass nicht alle Strategie-Parameter für die Konfiguration eines Handelsroboters gleich bedeutend sind, und in der Lage, Handelsergebnisse zu beeinflussen. In unserem Fall hatten die Werte Inp_Signal_ThreeEMA_StopLoss und Inp_Signal_ThreeEMA_TakeProfit praktisch keinerlei Auswirkungen auf die Performance des Expert Advisor. Ein Handelsroboter mit einer großen Anzahl an Parametereinstellungen entspricht aber durchaus der Norm.

Mit zahlreichen Parametern kann man sehr zutreffende Einstellungen für einen Handelsroboter machen, um seine Performance an eine bestimmte Zeitperiode anzupassen, die wahrscheinlich während der Optimierung enthüllt wird.

Kurvenanpassung bedeutet, dass der Expert Advisor wahrscheinlich nicht die selbe Rentabilität bei Daten hat, die über das festgelegte, für die Optimierung verwendete Intervall hinausgehen, als bei Testdaten. Und sogar schlimmer, es könnte zu gegenteiligen Ergebnissen kommen, die zu Verlusten führen.

Es wird angenommen, dass je weniger Parametereinstellungen ein Handelssystem hat, desto kleiner ist die Wahrscheinlichkeit, dass das identifizierte Muster in Zukunft verschwindet. Und umgekehrt, je mehr Parameter im System sind, desto kleiner ist die Möglichkeit, dass der Markt seine Eigenschaften an so einen präzise eingestellten Expert Advisor anpasst. Zum Beweis empfehlen wir Ihnen, sich mit den Ergebnissen der Handelsanalyse im Artikel Optimierung vs Realität: Beweise von ATC 2011 auseinanderzusetzen, die wir weiter unten erwähnen.

Das Diagramm stellt die Handelsergebnisse der Teilnehmer der Automated Trading Championship 2011 dar. Die vertikale Achse zeigt die Accountbilanz vom Ende der Championship und die horizontale Achse zeigt die Anzahl der externen Parameter der EA. Expert Advisor werden als rote Diamanten dargestellt. Es ist klar, dass die Expert Advisor mit einer großen Anzahl an Parametern beim Handeln während der Vorwärts-Periode der Championship Geld verloren haben, oder bestenfalls kostendeckend gearbeitet haben.

Die Abwesenheit von externen Parametern in einem zum Kauf angebotenen Handelsroboter sagt nichts über die Allgemeinheit von speziellen hineingeschriebenen Regeln aus. Der Entwickler der Expert Advisor muss aus welchen Gründen auch immer die externen Parametern innerhalb des Handelsroboters geschrieben haben.

Sehr hoher Gewinnfaktor

Die meisten Händler mögen es nicht, Handel zu verlieren und sehen so einen Verlust als Zeichen eines nicht funktionierenden Handelssystems. Tatsächlich können aufgrund des Wesens von Handeln auf Finanzmärkten solche Verluste nicht vermieden werden. Jeder Handel kann letztendlich entweder ein Gewinn oder Verlust werden, wenn eine Position eröffnet wird. Handelsverluste sind unvermeidbar und werden als Form natürlich vorkommender Bezahlung und unvermeidbare Ausgabe angesehen, wie in allen Unternehmen.

Viele Entwickler von automatisierten Handelssystemen geben Ihr Bestes, um die Anzahl von Verlustgeschäften und Bruttoverlusten minimal zu halten. Um dies zu erreichen und Ergebnisse zu verbessern, die mit dem Strategietester erzielt wurden, geben sie extra Filter dazu, um einen Verlust zu vermeiden und somit den Gewinnfaktor zu erhöhen. Extra Filter haben ihre eigenen Parameter und Einstellungen, zusätzlich zu der insgesamten Anzahl an Eingabeparametern.

Gewinnfaktoren werden definiert als Bruttogewinn geteilt durch Bruttoverlust. Der Gewinnfaktor von rentablen Systemen ist immer größer als 1. Aber wenn jemand ein Handelssystem im Strategietester über-optimiert, kann diese Zahl viel größer sein. Schauen wir uns ein weiteres Diagramm im Artikel Optimierung vs Realität: Beweise vom ATC 2011 an.

Es ist klar, dass fast alle Handelsroboter, die einen sehr hohen Gewinnfaktor während der Verlaufsprüfung aufwiesen, nicht einmal nahe an ihren Rückvergleichergebnissen waren, als sie über die Vorwärts-Periode der Automated Trading Championship 2011 getestet wurden und beinahe alles verloren. Das lässt vermuten, dass ein sehr hoher Gewinnfaktor im Strategietester ausgelöst wurde durch die Anpassung an die Strategie einer bestimmten Zeitperiode für die Optimierung des Handelsroboters.

Großer Gewinn an Verlaufsdaten

Ein weiterer alarmierender Fakt ist ein großer Gewinn in der Beschreibung eines Handelsroboters. Wenn der angehängte Strategietester einen hohe Bilanz aufweist, hat das möglicherweise etwas mit Kurvenanpassug zu tun. Oft realisieren Entwickler solcher "Gelddruckmaschinen" nicht, dass ihr System über-optimiert ist und zu viele externe Parameter hat. Unterstützen wir die Aussage eines anderen Diagramms des oben erwähnten Berichts Optimierung vs Realität: Beweise vom ATC 2011.

Käufer solcher "Heiligen Grale" sind in der Regel unerfahren und werden leicht von großen Gewinnen an Daten geblendet. In diesen Fällen ist die Täuschung von Gewinnen, die solche Handelsroboter erzielen können, aufrichtig und gegenseitig.

Manipulationen durch Geldmanagement

Die Entwicklung von speziellen Handelsmanipulationen, mit denen man im Strategietester mit minimalen Verlusten und maximalen Erträgen auf erfolgreichen Transaktionen schlechte Verlaufsdaten durchlaufen kann, ist der komplizierteste und seltenste Ansatz zur abnormen Entwicklung eines Handelsroboters. Er ist weit entfernt vom sogenannten Geldmanagement.

Am besten werden solche Anpassungen entdeckt durch die Prüfung von Daten, die außerhalb der Geschichtsperiode liegen, um die Ergebnisse zu erhalten, die vom Entwickler in der Beschreibung des Handelsroboters gegeben werden. Je größer die Anpassung, desto größer ist die Wahrscheinlichkeit dass der Handelsroboter den Test nicht bestehen wird.

Vertrauen Sie niemandem. Nicht einmal sich selbst.

Leider können Handelsroboter, wie jedes andere komplexe Programm, unabsichtliche Fehler enthalten, die nicht anders als während dem Online-Handeln bemerkt werden können. Kein Entwickler von Handelsrobotern kann garantieren, dass sein Programm fehlerfrei ist und mit allen ungewohnten Situationen richtig umgeht. Auch Expert Advisor, die erfolgreich getestet wurden, können einen Handelsfehler machen und aufgrund eines kritischen Fehlers zusammenbrechen wenn sie in unerwartete Situationen kommen, die der Entwickler nicht vorausgesehen hat. Die einzige Garantie ist in diesem Fall die Erfahrung und der Ruf des Entwicklers des Handelsroboters.

Und natürlich ist ein Expert Advisor, der positive Ergebnisse im Signaldienst über eine bestimmte Periode erzielt hat, verlässlicher als einer, der das nicht hat. Aber wie auch immer, verzweifeln Sie nicht, wenn Sie Ihre zukünftigen Gewinne berechnen und denken Sie an zwei allgemeingültige Regeln:

1. Vertrauen Sie niemandem
   
2. und denken Sie daran, dass Gewinne in der Vergangenheit keine zukünftigen Gewinne garantieren.

Wir empfehlen auch die folgenden Beiträge zum Markt:

• Wie kaufe ich einen Handelsroboter, ein Magazin oder ein Buch im MetaTrader Market?
• Wie man ein Produkt im Markt veröffentlicht
• Tipps für eine effektive Produktpräsentation auf dem Market