Магия фильтрации

Введение

Большинство разработчиков механических торговых систем (МТС), так или иначе, использует фильтрацию сигналов. При этом считают, что это, хоть и не единственный, но наиболее эффективный способ улучшения характеристик МТС. Начинающие "граалестроители" очень часто попадают под влияние магии фильтров. Ведь как просто - взять готовую торговую стратегию, навесить на неё десяток фильтров и вот он, ура - прибыльный советник.

Однако, есть и противники применения фильтров. Фильтры значительно (иногда в 2-3 раза) сокращают количество сделок, и при этом нет уверенности, что в будущем они будут также эффективны, как и в прошлом. Наверняка, есть и ещё какие-нибудь убедительные причины.

Вот и давайте, разберёмся во всём по порядку.

Гипотеза о бессмысленности фильтрации

Поэтому в рамках данной статьи подобные советники мы рассматривать не будем. Хотя и ведутся исследования квантово-частотных фильтров, способных практически любой "сливатор" превратить в псевдоГрааль.

Гипотеза о вреде фильтрации

Следует уточнить, что подразумевается под идеальной МТС. Это такая торговая стратегия, которая генерирует только профитные сделки, т.е. не приносящие убытков. У такой системы количество убыточных сделок = 0.

Что такое фильтр?

В самом простом виде, фильтр торговых сигналов представляет собой логическое ограничение типа: если А не меньше Б (А>=Б), то сигнал пропускаем, а если меньше (А<Б) - то нет. В результате часть сигналов отсеивается. По каким условиям фильтровать - решает сам разработчик торгового робота. Для поиска закономерностей необходимо проанализировать влияния различных факторов на характеристики МТС. А их великое множество. Поэтому, надо подключить свою интуицию, чтобы выбрать наиболее значимые и логически обоснованные.

Пример. Возможно, есть зависимость результатов торговли МТС от величины атмосферного давления в деревне Кукушкино, т.е. можно создать соответствующий фильтр и повысить прибыльность советника, который будет учитывать погоду в российской глубинке. Однако не многие оценят такой новаторский подход к фильтрации, не смотря на то, что он может повысить профитность системы.

Классификация фильтров

При всём многообразии фильтров, применяемых в МТС, их всё-таки можно разделить на два основных класса:

• полосовой фильтр (П-фильтр) - пропускает определённую полосу сигналов;
  
• дискретный фильтр (Д-фильтр) - выборочное пропускание сигналов по маске (шаблону).

С чего начать?

Давайте рассмотрим механизм фильтрации на примере. Возьмём для этого советник DC2008_revers (см. прикреплённый файл), специально разработанный для этой статьи, и исследуем его характеристики (без использования каких либо фильтров). Вот полученный при тестировании отчёт.

Отчёт

Рис. 1 График изменения баланса. Исходный советник без фильтров

Анализ результатов:

1. Советник прибыльный, и прибыльных сделок больше 60% - это хорошо.
2. Максимальная просадка 20% от депозита и больше 3000$ при минимальном размере лота - это плохо.
3. Общее количество сделок вполне достаточно для применения фильтрации (>3000).

Конечно, эти выводы уместны исключительно для рассматриваемого периода истории. Как советник будет торговать на другом участке - нам не известно. Однако это не может помешать изменить его характеристики с помощью фильтрации.

Таким образом, для этого советника можно попробовать найти такие фильтры, которые позволят повысить прибыльность и снизить просадку.

Полосовой фильтр (П-фильтр)

Это один из самых популярных и простых фильтров, т.к. результат можно оценить сразу же после тестирования и без дополнительной обработки. Рассмотрим возможные варианты использования его в тестируемом советнике. В качестве параметра полосы пропускания, исследуем сравнение цены открытия бара с ценой его закрытия на разных временных периодах.

Период Н4

   //+---------------------------------------------------------------------------------+
   //   Сигналы на покупку                                                          BUY
   //+---------------------------------------------------------------------------------+
   if(true
      && High[0]<iLow(NULL,PERIOD_H1,1)
      && ORD.Buy<nORD.Buy
   //.........................................ФИЛЬТРЫ...................................
      && iOpen(NULL,PERIOD_H4,1)<iClose(NULL,PERIOD_H4,1)
      )                                                                                
   {
   //----
      Signal.Buy=true; 
   }
   //+---------------------------------------------------------------------------------+
   //   Сигналы на продажу                                                          SELL
   //+---------------------------------------------------------------------------------+
   if(true
      && Low[0]>iHigh(NULL,PERIOD_H1,1)
      && ORD.Sell<nORD.Sell
   //.........................................ФИЛЬТРЫ...................................
      && iOpen(NULL,PERIOD_H4,1)>iClose(NULL,PERIOD_H4,1)
      )                                                                                
   {
   //----
      Signal.Sell=true; 
   }

Рис. 2 График изменения баланса. П-фильтр на периоде Н4

Период Н1

   //+---------------------------------------------------------------------------------+
   //   Сигналы на покупку                                                          BUY
   //+---------------------------------------------------------------------------------+
   if(true
      && High[0]<iLow(NULL,PERIOD_H1,1)
      && ORD.Buy<nORD.Buy
   //.........................................ФИЛЬТРЫ...................................
      && iOpen(NULL,PERIOD_H1,1)>iClose(NULL,PERIOD_H1,1)
      )                                                                                
   {
   //----
      Signal.Buy=true; 
   }
   //+---------------------------------------------------------------------------------+
   //   Сигналы на продажу                                                          SELL
   //+---------------------------------------------------------------------------------+
   if(true
      && Low[0]>iHigh(NULL,PERIOD_H1,1)
      && ORD.Sell<nORD.Sell
   //.........................................ФИЛЬТРЫ...................................
      && iOpen(NULL,PERIOD_H1,1)<iClose(NULL,PERIOD_H1,1)
      )                                                                                
   {
   //----
      Signal.Sell=true; 
   }

Рис. 3 График изменения баланса. П-фильтр на периоде Н1

Период М30

   //+---------------------------------------------------------------------------------+
   //   Сигналы на покупку                                                          BUY
   //+---------------------------------------------------------------------------------+
   if(true
      && High[0]<iLow(NULL,PERIOD_H1,1)
      && ORD.Buy<nORD.Buy
   //.........................................ФИЛЬТРЫ...................................
      && iOpen(NULL,PERIOD_M30,1)<iClose(NULL,PERIOD_M30,1)
      )                                                                                
   {
   //----
      Signal.Buy=true; 
   }
   //+---------------------------------------------------------------------------------+
   //   Сигналы на продажу                                                          SELL
   //+---------------------------------------------------------------------------------+
   if(true
      && Low[0]>iHigh(NULL,PERIOD_H1,1)
      && ORD.Sell<nORD.Sell
   //.........................................ФИЛЬТРЫ...................................
      && iOpen(NULL,PERIOD_M30,1)>iClose(NULL,PERIOD_M30,1)
      )                                                                                
   {
   //----
      Signal.Sell=true; 
   }

Рис. 4 График изменения баланса. П-фильтр на периоде М30

Период М5

   //+---------------------------------------------------------------------------------+
   //   Сигналы на покупку                                                          BUY
   //+---------------------------------------------------------------------------------+
   if(true
      && High[0]<iLow(NULL,PERIOD_H1,1)
      && ORD.Buy<nORD.Buy
   //.........................................ФИЛЬТРЫ...................................
      && iOpen(NULL,PERIOD_M5,1)<iClose(NULL,PERIOD_M5,1)
      )                                                                                
   {
   //----
      Signal.Buy=true; 
   }
   //+---------------------------------------------------------------------------------+
   //   Сигналы на продажу                                                          SELL
   //+---------------------------------------------------------------------------------+
   if(true
      && Low[0]>iHigh(NULL,PERIOD_H1,1)
      && ORD.Sell<nORD.Sell
   //.........................................ФИЛЬТРЫ...................................
      && iOpen(NULL,PERIOD_M5,1)>iClose(NULL,PERIOD_M5,1)
      )                                                                                
   {
   //----
      Signal.Sell=true; 
   }

Рис. 5 График изменения баланса. П-фильтр на периоде М5

Для удобства анализа полученных отчётов, они сведены в следующую таблицу.

Табл.1 Сравнительная таблица отчётов тестирования П-фильтров

Анализ результатов:

1. Чистая прибыль увеличилась только на П-фильтре "PERIOD_H1" (4408.91=>4829.05).
2. Лидером по матожиданию стал П-фильтр "PERIOD_M30" (1.34=>3.59).
   
3. Максимальная просадка снизилась на всех фильтрах. Минимальное значение просадки получили на фильтре "PERIOD_M5" (3001.74=>1608.30).
4. Фильтрация сократила общее количество сделок в 1,5-3 раза.

ВЫВОДЫ:

• С помощью П-фильтра можно улучшить характеристики МТС.
• Для дальнейшего анализа выберем П-фильтр "PERIOD_H1", показавший лучшую прибыль.

Дискретный фильтр (Д-фильтр)

Самый простой и интуитивно понятный дискретный фильтр - торговля по часам. Не трудно предположить, что в течение дня советник торгует не стабильно. В какие-то часы он прибыльнее, а в какие-то наоборот - приносит только убытки. Для этого проведём исследование влияния этого фильтра на результативность торговли. Предварительно включив в код эксперта дополнительную внешнюю переменную:

extern int        Filter.Hour=0;    // Д-Фильтр: торговля по часам
//----
extern double     Lots=0.1;
extern int        Symb.magic=9001,
                  nORD.Buy = 5,     // макс кол-во ордеров на покупку
                  nORD.Sell = 5;    // макс кол-во ордеров на продажу

Ну и сам фильтр:

   //+---------------------------------------------------------------------------------+
   //   Сигналы на покупку                                                          BUY
   //+---------------------------------------------------------------------------------+
   if(true
      && High[0]<iLow(NULL,PERIOD_H1,1)
      && ORD.Buy<nORD.Buy
   //.........................................ФИЛЬТРЫ...................................
      && Hour()==Filter.Hour 
      )                                                                                
   {
   //----
      Signal.Buy=true; 
   }
   //+---------------------------------------------------------------------------------+
   //   Сигналы на продажу                                                          SELL
   //+---------------------------------------------------------------------------------+
   if(true
      && Low[0]>iHigh(NULL,PERIOD_H1,1)
      && ORD.Sell<nORD.Sell
   //.........................................ФИЛЬТРЫ...................................
      && Hour()==Filter.Hour 
      )                                                                                
   {
   //----
      Signal.Sell=true; 
   }

Итак, если текущий час совпадает с дискретным значением Д-фильтра, то сигнал на продажу или покупку генерируем (пропускаем), в противном случае - нет.

Запускаем тестер в режиме оптимизации (входные параметры указаны на рисунках). Депозит нужно задать максимальный, чтобы исключить ситуацию - "недостаточно средств для открытия позиции" и не потерять часть сделок.

Рис.6 Входные параметры для получения характеристик отклика Д-фильтра

В результате получили характеристики отклика фильтра: прибыль, количество сделок и просадка (ось Y) в функции от времени суток (ось X).

Рис. 7 Характеристики отклика фильтра. Д-фильтрация по часам

Наше предположение о том, что советник в разные часы приносит разную прибыль - подтвердилось!

... Ну, подтвердилось, а что теперь с этим делать? Первое что напрашивается - это запретить ему торговать в те часы, когда он приносит только убытки. Вроде логично. Ну что же, тогда видоизменим Д-фильтр, разрешив торговлю только в прибыльные часы. Другими словами - создадим маску фильтра. Теперь можно включить в код итоговый Д-фильтр и посмотреть отчёт тестирования.

   //+---------------------------------------------------------------------------------+
   //   Сигналы на покупку                                                          BUY
   //+---------------------------------------------------------------------------------+
   if(true
      && High[0]<iLow(NULL,PERIOD_H1,1)
      && ORD.Buy<nORD.Buy
   //.........................................ФИЛЬТРЫ...................................
      && (Hour()==0                       
         || Hour()==6                     
         || Hour()==9                     
         || Hour()==10 
         || Hour()==11 
         || Hour()==12 
         || Hour()==18 
         || Hour()==20 
         || Hour()==22 
         || Hour()==23
         ) 
      )                                                                                
   {
   //----
      Signal.Buy=true; 
   }
   //+---------------------------------------------------------------------------------+
   //   Сигналы на продажу                                                          SELL
   //+---------------------------------------------------------------------------------+
   if(true
      && Low[0]>iHigh(NULL,PERIOD_H1,1)
      && ORD.Sell<nORD.Sell
   //.........................................ФИЛЬТРЫ...................................
      && (Hour()==0 
         || Hour()==6 
         || Hour()==9 
         || Hour()==10 
         || Hour()==11 
         || Hour()==12 
         || Hour()==18 
         || Hour()==20 
         || Hour()==22 
         || Hour()==23
         ) 
      )                                                                               
   {
   //----
      Signal.Sell=true; 
   }

Рис. 8 График изменения баланса. Д-фильтр по часам

Анализ результатов фильтрации:

1. Снижения просадки - не добились. Она не только не уменьшилась, но даже немного увеличилась (3001.74 => 3016.21)!?
2. Чистая прибыль выросла примерно на 50% (4408.91 => 6567.66). Это конечно радует, но количество сделок при этом сократилось почти в 2 раза (3284 => 1590).
3. Матожидание Д-фильтра (4.13) выше лучшего значения из всех исследованных П-фильтров (3.59).
   
4. Количество прибыльных сделок сократилось (64.98%=> 62.52%)., т.е. фильтр ограничил не только убыточные, но и часть прибыльных сделок.

ВЫВОДЫ:

• Дискретная фильтрация может оказаться эффективней П-фильтрации, но требует более тонкой настройки и подбора оптимальных входных условий.
  

Фильтрация сигналов двумя и более фильтрами

Не всегда удаётся добиться значительного улучшения характеристик МТС, используя всего один фильтр, чаще устанавливают сразу несколько. При этом возникает вопрос: а как их объединить?

Для исследования возьмём рассмотренные выше фильтры и для упрощения обозначим: фильтр №1 (П-фильтр "PERIOD_H1") и фильтр №2 (Д-фильтр). Первоначально соединим их простым сложением, для этого изменим код советника.

   //+---------------------------------------------------------------------------------+
   //   Сигналы на покупку                                                          BUY
   //+---------------------------------------------------------------------------------+
   if(true
      && High[0]<iLow(NULL,PERIOD_H1,1)
      && ORD.Buy<nORD.Buy
   //.........................................ФИЛЬТРЫ...................................
      //---- фильтр №1
      && iOpen(NULL,PERIOD_H1,1)>iClose(NULL,PERIOD_H1,1)  
      //---- фильтр №2
      && (Hour()==0                                                         
         || Hour()==6                     
         || Hour()==9                     
         || Hour()==10 
         || Hour()==11 
         || Hour()==12 
         || Hour()==18 
         || Hour()==20 
         || Hour()==22 
         || Hour()==23
         )       
      )                                                                                
   {
   //----
      Signal.Buy=true; 
   }
   //+---------------------------------------------------------------------------------+
   //   Сигналы на продажу                                                          SELL
   //+---------------------------------------------------------------------------------+
   if(true
      && Low[0]>iHigh(NULL,PERIOD_H1,1)
      && ORD.Sell<nORD.Sell
   //.........................................ФИЛЬТРЫ...................................
      //---- фильтр №1
      && iOpen(NULL,PERIOD_H1,1)<iClose(NULL,PERIOD_H1,1)
      //---- фильтр №2
      && (Hour()==0                       
         || Hour()==6                     
         || Hour()==9                     
         || Hour()==10 
         || Hour()==11 
         || Hour()==12 
         || Hour()==18 
         || Hour()==20 
         || Hour()==22 
         || Hour()==23
         )       
      )                                                                               
   {
   //----
      Signal.Sell=true; 
   }

Затем тестируем созданную комбинацию фильтров и в результате получим следующий отчёт.

Отчёт

Рис. 9 График изменения баланса. Два фильтра: П-фильтр + Д-фильтр (простое сложение)

Однако, эти два фильтра можно соединить и другим способом. Предположим, что фильтр №1 настроен лучше, чем фильтр №2. Следовательно, нужно построить новый Д-фильтр. Код советника при этом будет выглядеть следующим образом. Запускаем тестер в режиме оптимизации и получаем новые характеристики фильтра №2 (торговля по часам).

   //+---------------------------------------------------------------------------------+
   //   Сигналы на покупку                                                          BUY
   //+---------------------------------------------------------------------------------+
   if(true
      && High[0]<iLow(NULL,PERIOD_H1,1)
      && ORD.Buy<nORD.Buy
   //.........................................ФИЛЬТРЫ...................................
      //---- фильтр №1
      && iOpen(NULL,PERIOD_H1,1)>iClose(NULL,PERIOD_H1,1)  
      //---- фильтр №2
      && Hour()==Filter.Hour 
      )                                                                                
   {
   //----
      Signal.Buy=true; 
   }
   //+---------------------------------------------------------------------------------+
   //   Сигналы на продажу                                                          SELL
   //+---------------------------------------------------------------------------------+
   if(true
      && Low[0]>iHigh(NULL,PERIOD_H1,1)
      && ORD.Sell<nORD.Sell
   //.........................................ФИЛЬТРЫ...................................
      //---- фильтр №1
      && iOpen(NULL,PERIOD_H1,1)<iClose(NULL,PERIOD_H1,1)
      //---- фильтр №2
      && Hour()==Filter.Hour 
      )                                                                               
   {
   //----
      Signal.Sell=true; 
   }

Рис. 10 Изменение прибыли по времени для двух Д-фильтров. Сравнительный анализ

Действительно, характеристики отклика фильтра изменились. И в этом нет ни чего удивительного - дополнив советник фильтром №1, мы изменили его свойства. Следовательно, необходимо изменить маску для фильтра №2.

Рис. 11 Характеристики отклика фильтра №2. Д-фильтрация по часам (оптимизированная)

Итоговый вид кода советника.

   //+---------------------------------------------------------------------------------+
   //   Сигналы на покупку                                                          BUY
   //+---------------------------------------------------------------------------------+
   if(true
      && High[0]<iLow(NULL,PERIOD_H1,1)
      && ORD.Buy<nORD.Buy
   //.........................................ФИЛЬТРЫ...................................
      //---- фильтр №1
      && iOpen(NULL,PERIOD_H1,1)>iClose(NULL,PERIOD_H1,1)  
      //---- фильтр №2
      && (Hour()==0                       
         || Hour()==1                     
         || Hour()==6                     
         || Hour()==7                     
         || Hour()==9                     
         || Hour()==10 
         || Hour()==12 
         || Hour()==14 
         || Hour()==15 
         || Hour()==18 
         || Hour()==20 
         || Hour()==22 
         || Hour()==23
         )      
      )                                                                                
   {
   //----
      Signal.Buy=true; 
   }
   //+---------------------------------------------------------------------------------+
   //   Сигналы на продажу                                                          SELL
   //+---------------------------------------------------------------------------------+
   if(true
      && Low[0]>iHigh(NULL,PERIOD_H1,1)
      && ORD.Sell<nORD.Sell
   //.........................................ФИЛЬТРЫ...................................
      //---- фильтр №1
      && iOpen(NULL,PERIOD_H1,1)<iClose(NULL,PERIOD_H1,1)
      //---- фильтр №2
      && (Hour()==0                       
         || Hour()==1                     
         || Hour()==6                     
         || Hour()==7                     
         || Hour()==9                     
         || Hour()==10 
         || Hour()==12 
         || Hour()==14 
         || Hour()==15 
         || Hour()==18 
         || Hour()==20 
         || Hour()==22 
         || Hour()==23
         )      
      )                                                                                
   {
   //----
      Signal.Sell=true; 
   }

Отчёт

Рис. 12 График изменения баланса в результате оптимизации характеристик двух фильтров

Для удобства анализа отчётов, создадим следующую таблицу.

Табл. 2 Сравнительная таблица отчётов тестирования комбинаций двух фильтров: П-фильтра и Д-фильтра

Анализ результатов:

1. Если сравнивать по критериям прибыль, прибыльность и матожидание, то лучшие результаты показал вариант сложения двух фильтров.
2. А вот по просадке выигрывает вариант оптимизации фильтров.
3. В любом случае, фильтрация улучшает характеристики МТС.
   

Заключение

1. Так в чём же магия фильтрации? В её простоте и возможности изменить характеристики любого советника.
   
2. Предложенная технология создания фильтров, не предназначена для "тупого" копирования. Она лишь показывает, каким образом можно разработать П-фильтр и Д-фильтр для конкретного советника. Фильтр, который подходит для одного советника, другому может быть противопоказан.
   
3. И помните, идеальная МТС не нуждается в фильтрах! ... Вы ведь такую мечтаете создать систему?
   
4. Я знаю, что код советника и фильтров не оптимизирован и тем более не идеален. Но для целей данной статьи был выбран именно такой стиль программирования. В первую очередь для того, чтобы любой "чайник" смог повторить изложенное и создать свои собственные уникальные фильтры.
   
5. ВНИМАНИЕ! Ни в коем случае не используйте исследуемый в статье советник в реальной торговле!