Что означают цифры в отчёте тестирования эксперта

21 декабря 2005, 10:43
MetaQuotes Software Corp.
5
7 350

Введение

Любой эксперт может быть протестирован на исторических данных. После тестирования эксперта во вкладке "Отчет" отображаются обобщенные результаты тестирования советника и некоторые ключевые показатели. Отчеты позволяют быстро сравнивать между собой как различные эксперты, так и результаты работы одного и того же эксперта с различными входными параметрами. Данная статья позволяет научиться читать такие отчеты и грамотно интерпретировать полученные результаты.

Пример отчета результатов тестирования

В качестве примера рассмотрим следующий отчет результатов тестирования:


  • Bars in test, количество баров в истории, показывает глубину истории, на основе которой производилось моделирование.

  • Ticks modelled, количество смоделированных тиков, показывает размер смоделированной последовательности. Каждая запись последовательности представляет собой состояние бара (OHLCV) на тот или иной момент времени. В зависимости от таймфрейма, метода моделирования и от наличия исторических данных меньших таймфреймов в пределах бара может быть смоделировано разное количество состояний бара.

  • Modelling quality, качество моделирования, рассчитывается по следующей формуле:

    ModellingQuality = ((0.25*(StartGen-StartBar) + 
    0.5 *(StartGenM1-StartGen) +
    0.9 *(HistoryTotal-StartGenM1)) / (HistoryTotal-StartBar))*100%;

    где:

    • HistoryTotal - количество баров в истории;

    • StartBar - номер бара, с которого началось моделирование. Моделирование начинается с как минимум 101-го бара либо бара, соответствующего начальной дате ограничения тестирования;

    • StartGen - номер бара, с которого началось моделирование на основе исторических данных ближайшего таймфрейма;

    • StartGenM1 - номер бара, с которого началось моделирование на основе минуток;

    при этом:

    • промежуток от начала моделирования без данных ближайшего таймфрейма до начала моделирования на основе данных ближайшего таймфрейма имеет весовой коэффициент 0.25;

    • промежуток от начала моделирования на основе данных ближайшего таймфрейма до начала моделирования на основе минуток имеет весовой коэффициент 0.5;

    • промежуток от начала моделирования на основе минуток до конца исторических данных имеет весовой коэффициент 0.9;

  • Gross profit, общая прибыль, сумма прибыли всех прибыльных сделок;

  • Gross loss, общий убыток, сумма убытков всех убыточных сделок;

  • Total net profit, чистая прибыль, показывает разницу между общей прибылью и общим убытком:

     

    TotalNetProfit = GrossProfit - GrossLoss

     

  • Profit factor, прибыльность, показывает отношение между общей прибылью и общим убытком:

     

    ProfitFactor = GrossProfit / GrossLoss

     

  • Expected payoff, математическое ожидание выигрыша рассчитывается по следующей формуле:

    Expected Payoff = (ProfitTrades / TotalTrades) * (GrossProfit / ProfitTrades) - 
    (LossTrades / TotalTrades) * (GrossLoss / LossTrades)

    где:

    • TotalTrades - общее количество сделок;

    • ProfitTrades - количество прибыльных сделок;

    • LossTrades - количество убыточных сделок;

    • GrossProfit - общая прибыль;

    • GrossLoss - общий убыток.

  • Absolute drawdown, абсолютная просадка - это разница между начальным депозитом и наименьшим значением баланса в процессе тестирования:

    AbsoluteDrawDown = InitialDeposit - MinimalBalance
  • Maximal drawdown, максимальная просадка - это максимальная разница между одним из локальных верхних экстремумов графика изменения баланса и последующих нижних экстремумов:

    MaximalDrawDown = Max of (Maximal Peak - next Minimal Peak)

    На следующем рисунке цифрами показаны основные стадии изменения величины максимальной просадки в процессе тестирования. Итоговое значение максимальной просадки выделено утолщенными стрелками.



    Процент максимальной просадки показывает отношение максимальной просадки к значению соответствующего локального верхнего экстремума:

    MaxDrawDown % = MaxDrawDown / its MaxPeak * 100%

Остальные результаты, показываемые во вкладке "Отчет", получаются при помощи простейших математических вычислений.

  • Total trades - общее количество сделок, совершенных экспертом в процессе тестирования;

  • Short positions (won %) - общее количество коротких позиций и процент прибыльных среди коротких позиций (прибыльные короткие позиции / общее количество коротких позиций * 100%);

  • Long positions (won %) - общее количество длинных позиций и процент прибыльных среди длинных позиций (прибыльные длинные позиции / общее количество длинных позиций * 100%);

  • Profit trades (% of total) - общее количество прибыльных сделок и процент от общего количества сделок (ProfitTrades / TotalTrades * 100%);

  • Loss trades (% of total) - общее количество убыточных сделок и процент от общего количества сделок (LossTrades / TotalTrades * 100%);

  • Largest profit trade - самая большая прибыль среди прибыльных сделок;

  • Largest loss trade - самый большой убыток среди убыточных сделок;

  • Average profit trade - средний размер прибыли прибыльных сделок (GrossProfit / ProfitTrades);

  • Average loss trade - средний размер убытка убыточных сделок (GrossLoss / LossTrades);

  • Maximum consecutive wins (profit in money) - максимальное непрерывное количество среди серий прибыльных сделок и сумма прибыли в этой серии;

  • Maximum consecutive losses (loss in money) - максимальное непрерывное количество среди серий убыточных сделок и сумма убытков в этой серии;

  • Maximal consecutive profit (count of wins) - максимальная прибыль непрерывной серии прибыльных сделок и количество сделок в этой серии;

  • Maximal consecutive loss (count of losses) - максимальный убыток непрерывной серии убыточных сделок и количество сделок в этой серии;

  • Average consecutive wins - среднее количество сделок в непрерывных прибыльных сериях.

  • Average consecutive losses - среднее количество сделок в непрерывных убыточных сериях.

Цветовые обозначения диаграммы качества моделирования

На цветной диаграмме используются следующие цвета:

  • Светло-зеленый - моделирование на основе минуток, на рисунке ниже обозначено цифрой 7.

  • Более темные оттенки зеленого цвета показывают моделирование на больших таймфреймах, от M5 до H4.

  • Розовый цвет - чистое фрактальное моделирование без данных меньшего таймфрейма, на рисунке обозначено цифрой 2.

  • Серый цвет - ограничение моделирования по дате, на рисунке обозначено цифрой 1.


На приведенном рисунке цветная диаграмма построена в соответствии со следующими исходными данными расчета качества моделирования:

  • Bars in test = 4190;

  • StartBar = 2371;

  • StartGen (H4) = 3042 (на рисунке выше обозначено цифрой 3);

  • Start H1 = 3355 (обозначено цифрой 4);

  • Start M30 = 3841 (обозначено цифрой 5);

  • Start M15 = 3891 (обозначено цифрой 6);

  • Start M5 = 0 (на рисунке нет обозначения, так как минутные данные начались раньше);

  • Start M1 = 3917.

Подставляя данные значения в формулу расчета качества моделирования получаем:

((0.25*(3042-2371) + 0.5*(3917-3042) + 0.9*(4190-3917)) / (4190-2371))*100% =
((0.25*671 + 0.5*875 + 0.9*273) / 1819)*100% = 46.78%
MQL4 Comments
MQL4 Comments | 1 ноя 2008 в 16:06
"...чистое фрактальное моделирование без данных меньшего таймфрейма" Обьясните поподробнее что это значит.
MQL4 Comments
MQL4 Comments | 22 дек 2008 в 10:14

"Maximal drawdown, максимальная просадка - это максимальная разница между одним из локальных верхних экстремумов графика изменения баланса и последующих нижних экстремумов:

MaximalDrawDown = Max of (Maximal Peak - next Minimal Peak)

На следующем рисунке цифрами показаны основные стадии изменения величины максимальной просадки в процессе тестирования. Итоговое значение максимальной просадки выделено утолщенными стрелками."

Мерил-мерил, отнимал от локального мах (10800) след. мин (9500), ну ни как 2436 не получается, даже 2000 не натягивается. А уж про чисто фрактальное моделирование вооще боюсь заикаться. С утолщенными стрелками то разобраться не могу.

MQL4 Comments
MQL4 Comments | 4 фев 2010 в 12:59

Hachioji, я скажу почему у тебя не получалось.... Потому что в статье вижу ошибку!

"Maximal drawdown, максимальная просадка - это максимальная разница между одним из локальных верхних экстремумов графика изменения баланса и последующих нижних экстремумов:

MaximalDrawDown = Max of (Maximal Peak - next Minimal Peak)" - ЭТО НЕ ТАК!!! Разница берётся ДРУГАЯ. Кстати, и в про абсолютную просадку ошибка аналогичная.
mahacha
mahacha | 30 янв 2013 в 16:14

здраствуйте! а как так получается что в тесторе стратегий у вас показывает до 4 цветов разных,тоесть он сразу на разных временных графиков работает? на тесторе стротегий тестировать можно  только на одном временном графике либа М1 М5 М15......МН

akskarabey
akskarabey | 25 сен 2016 в 05:36

Интересно, тот кто писал эту статью, сам хоть читал ее?

 "Expected Payoff = (ProfitTrades / TotalTrades) * (GrossProfit / ProfitTrades) - 

                  (LossTrades / TotalTrades) * (GrossLoss / LossTrades)"

 А не проще ли написать Expected Payoff = TotalNetProfit / TotalTrades? Эти равенства тождественны, но второе гораздо короче и проще

Особенности и ограничения тестирования торговых стратегий в MetaTrader 4 Особенности и ограничения тестирования торговых стратегий в MetaTrader 4

Эта статья поможет больше узнать об особенностях и ограничениях тестера торговых стратегий в MetaTrader 4...

Strategy Tester: режимы моделирования при тестировании торговых стратегий Strategy Tester: режимы моделирования при тестировании торговых стратегий

Многие программы технического анализа позволяют проводить тестирование торговых стратегий на исторических данных...

Пример создания эксперта Пример создания эксперта

Принципы построения пользовательских программ на языке MQL 4 рассматриваются на примере создания простейшей экспертной системы на основе стандартного индикатора MACD.

Оценка качества моделирования минутных данных Оценка качества моделирования минутных данных

Формула расчёта и оценка качества моделирования минутных данных.