Создание нейросетевых торговых роботов на базе MQL5 Wizard и Hlaiman EA Generator

29 августа 2013, 08:32
Ivan Negreshniy
74
14 151

Введение

Практически каждый трейдер знает, что существует такой инструмент как нейросеть, но для большинства это черный ящик, о котором им известно только то, что она, подобно человеку, способна к распознаванию образов, ассоциативному поиску решений и обучению, а также то, что она может быть эффективно использована для прогнозирования рынка и автоматической торговли. Однако множество источников информации, посвященных применению нейронных сетей, акцентируют внимание на сложности этого инструмента и утверждают, что необходимо потратить огромное количество времени для его изучения и для того, чтобы научиться им пользоваться.

В данной статье будет предпринята попытка опровергнуть эти утверждения и доказать, что современные методы автоматизации позволяют трейдеру легко начать работать с нейросетями, минуя длительные этапы изучения. Получить свой опыт использования нейросетей - это очень просто, уж точно проще, чем технический анализ.

Для этого будет описан метод автоматической генерации нейросетевых советников-роботов MetaTrader 5 на базе MQL5 Wizard и Hlaiman EA Generator.

Выбор средств для решения поставленной задачи не случаен:

  1. MQL5 Wizard – это эффективный и наиболее быстрый на сегодняшний день механизм автоматической генерации MQL5 кода, который масштабируется с помощью дополнительных модулей.
  2. Hlaiman EA Generator - это нейросетевой движок с гибким механизмом объектной интеграции, который программируется непосредственно в MQL5 коде советника.

Дополнение "робот" к названию советника также не случайно, поскольку характерные для настоящего робота антропоморфные признаки по распознаванию и обучению у нейросетевого советника являются основными, в отличие от других случаев применения этого названия, где "торговый робот" часто не соответствует сущности.


Общая характеристика

По причине, обозначенной в цели статьи, вы не найдете в ней описания теоретических основ, классификации и устройства нейронных сетей, а также материалы исследований, относящихся к финансовым рынкам. Для этого существует множество других источников. Здесь же мы умышленно ограничимся представлением о нейронной сети, как о черном ящике, способном к ассоциативному мышлению и прогнозированию входа в рынок на основе распознавания графических ценовых паттернов. По этой же причине остановимся на наиболее простом представлении о паттерне, как о непрерывной последовательности бар на графике торгового инструмента, которая предшествует прибыльному движению цены.

Кратко о средствах решения задачи. В отличие от Hlaiman, MQL5 Wizard - неоднократно освещался в статьях и документации, он, как и MetaTrader 5, в презентации не нуждается. Социально ориентированный проект Hlaiman предназначен для разработки и продвижения многопрофильного модульного программного обеспечения в виде плагинов, одним из которых и является EA Generator. Функционально, как уже указывалось выше, EA Generator представляет из себя нейросетевой движок и средства интеграции.

В состав Hlaiman EA Generator входит оболочка <hlaim.exe>, которая представляет собой Windows GUI приложение с мультидокументным интерфейсом и плагины в виде динамически загружаемых компонентных библиотек. Система предоставляет широкий набор ручных и алгоритмических методов настройки и управления компонентами, как загружаемыми в составе плагинов, так и базовыми. В процессе ее работы можно создавать сложные древовидные структуры объектов и гибко управлять их методами и свойствами, как при помощи ручного диалога (Object Inspector), так и при помощи программных средств автоматизации, например скриптов.

Для интеграции Hlaiman EA Generator в MQL5 используется скриптовый интерпретатор Object Pascal, передача исходного кода осуществляется по именованным каналам Named Pipes, а в качестве главного нейросетевого компонента применяется многослойный персептрон MLP.

Интеграция Hlaiman EA Generator в MQL5 Wizard выполняется посредством модуля библиотеки сигналов SignalHNN.mqh. После автоматической генерации советники могут быть обучены торговле на любом количестве инструментов и таймфреймов. Для этого в терминале МetaТrader 5 можно вручную наносить на график цены графические объекты стрелок, указывающие на сигналы, или использовать скрипт TeachHNN.mq5 для автоматического нанесения, который так же автоматически запускает процесс обучения советника.

На этом теоретическое описание заканчивается и начинается практическая часть, которая состоит из двух разделов, а именно - "Как это работает" и "Как это устроено".

Второй раздел предназначен для программистов и приведен скорее в знак уважения к настоящему ресурсу, поэтому его чтение не является обязательным, особенно для трейдеров, которых интересует не навыки программирования, а практика создания нейросетевых советников-роботов и оценка их эффективности или бесполезности для своей торговли.


Как это работает

В MQL5.community, наверное, излишне напоминать, что для работы необходим терминал MetaТrader 5. Если он у вас не установлен - то скачайте и установите его. Также скачайте и установите демо-версию пакета Hlaiman EA Generator.

Запустите терминал МetaТrader 5 и MetaEditor. Войдите в мастер создания советников MQL5. Мастер MQL5 может быть вызван с помощью команды "Создать" в меню "Файл" или панели инструментов "Стандартная", а также при помощи горячих клавиш "Ctrl+N".

В окне мастера MQL5 выберите пункт "Советник (сгенерировать)" и нажмите "Далее".

Рис. 1. Создание советника в Мастере MQL5

Рис. 1. Создание советника в Мастере MQL5

Введите путь и имя советника, например "Experts\SampleHNN", и нажмите "Далее".

Рис. 2. Общие параметры советника

Рис. 2. Общие параметры советника

Нажмите кнопку "Добавить". В появившемся окне "Параметры модуля сигналов" выберите модуль сигналов "Signals of patterns Hlaiman Neural Network EA generator" из выпадающего списка и нажмите "OK".

Рис. 3. Выбор модуля торговых сигналов Hlaiman Neural Network EA generator

Рис. 3. Выбор модуля торговых сигналов Hlaiman Neural Network EA generator

В самом простом случае реализации на оставшихся этапах мастера MQL5 можете нажимать "Далее". При необходимости вы также можете выбрать дополнительные опции советника.

По завершению процесса генерации кода нажмите кнопку "Компилировать" и закройте окно "MetaEditor". Созданный советник будет отображен в разделе "Советники" на панели "Навигатор" терминала МetaТrader 5.

Рис. 4. Советник SampleHNN

Рис. 4. Советник SampleHNN

Прежде чем приступить к обучению созданного советника, необходимо открыть в терминале график с требуемым символом и таймфреймом. Приложение Hlaiman EA Generator обязательно должно быть запущено.

Рис. 5. Подготовка к обучению нейросети

Рис. 5. Подготовка к обучению нейросети

Для обучения советника, на панели терминала "Навигатор" в разделе "Скрипты", выберите "TeachHNN" и активируйте его для выбранного графика.

Скрипт "TeachHNN", перед запуском должен быть соответствующим образом настроен. Для этого у него имеются следующие параметры:

  • Document name - наименование советника для обучения;
  • Neural layers - количество слоев в нейросети;
  • Middle neurons - количество нейронов;
  • Teaching epochs - количество эпох обучения;
  • Pattern bars - количество баров в паттерне;
  • Teaching a net? - запустить обучение нейросети (или просто создание сигналов);
  • SignalsCreate - автоматически создать графические изображения сигналов;
  • SignalsBarPoints - порог для создания сигнала в количестве пунктов;
  • SignalsBarsCount - количество баров для подсчета количества пунктов;
  • SignalsStartTime, SignalsEndTime - время начала и конца периода для создания сигналов;
  • SignalsClear - автоматически удалять изображения сигналов по завершению обучения.

Рис. 6. Параметры скрипта TeachHNN

Рис. 6. Параметры скрипта TeachHNN

Если все готово, жмите "OK" для запуска процесса обучения советника. Начнется автоматическое формирование графических паттернов по каждому из имеющихся на графике сигналов.

Информация об этом отображается в журнале "Эксперты" на панели "Инструменты" терминала, а в окне Hlaiman EA Generator появляются соответствующие объекты.

После завершения формирования паттернов начинается непосредственное обучение нейросети. Об этом сигнализирует появляющаяся на экране панель хода обучения.

Обучение Hlaiman EA Generator

Рис. 7. Панель процесса обучения

Дождитесь окончания процесса. Досрочная же остановка обучения доступна из контекстного меню по щелчку правой кнопкой мыши на панели хода обучения.

Сообщение об окончании обучения и работы скрипта будет отражено в журнале на вкладке "Эксперты". Например сообщение "Neural net create success! On 431 patterns" свидетельствует об успешном завершении обучения советника с использованием 431-го сигнала.

По сообщениям можно определить, сколько и какие номера паттернов участвовали в обучении. В частности, BUY и SELL определяются по сообщениям типа "Sell signal detected at pattern #211".

Журнал обучения Hlaiman EA Generator

Рис. 8. Сообщения скрипта TeachHNN в процессе обучения

Причины, по которым процесс обучения советника может запускается с ошибкой:

  1. Предварительно не была запущена программа Hlaiman. В этом случае будет отображено сообщение "CSignalHNN::InitHNN: Error! initializing pipe server (possible reason: HLAIMAN APPLICATION IS NOT RUNNING!)".
  2. Отсутствие стрелок, обозначающих сигналы на графике, при отключенной автогенерации сигналов (переменная SignalsCreate = false). В этом случае будет отображено сообщение "OnStart: error, orders arrow not found!". При включенной автогенерации сигналов (переменная SignalsCreate = true) ошибку может вызывать наличие на графике других графических объектов, так как в программе предполагается не портить пользовательские разметки. Поэтому для автогенерации сигналов рекомендуется открывать все графики отдельно.

После обучения советника можно просмотреть его результаты. Для этого вам необходимо перейти в GUI Hlaiman и выбрать соответствующие объекты и панели визуализации.

Рис. 9. Вкладка "Text" программы Hlaiman

Рис. 9. Вкладка "Text" программы Hlaiman


Рис. 10. Вкладка "Graph" программы Hlaiman

Рис. 10. Вкладка "Graph" программы Hlaiman

После успешного обучения советника хотя бы на одном из торговых инструментов можно приступать к его тестированию и/или оптимизации.

Для этого выберите в тестере имя обученного советника, символ, таймфрейм, интервал и другие параметры тестирования. При необходимости выполните настройку внешних переменных и запустите тест.

Рис. 11. Настройки тестирования советника SampleHNN на исторических данных

Рис. 11. Настройки тестирования советника SampleHNN на исторических данных


Рис. 12. Внешние переменные советника SampleHNN могут быть изменены

Рис. 12. Внешние переменные советника SampleHNN могут быть модифицированы

Ниже приведен пример отчета по работе советника в тестере стратегий. Советник был обучен по автоматически сгенерированным сигналам, все внешние параметры обучающего скрипта выставлены по умолчанию, период обучения - 01.01.2010-01.07.2013 по инструменту EURUSD H4.


Отчет Тестера стратегий

Советник:SampleHNN
Символ: EURUSD
Период: H4 (2010.01.01-2013.07.12)
Валюта: USD
Начальный депозит: 10 000.00
Плечо: 0,111111111
Бэктест
Качество истории: 100%
Бары: 5497
Чистая прибыль: 9 159.58
Общая прибыль: 29 735.97
Общий убыток: -20 576.39
Прибыльность: 1.45
Фактор восстановления: 12.81
AHPR: 1.0005 (0.05%)
GHPR: 1.0005 (0.05%)
Всего трейдов: 1417
Всего сделок: 2246
Тики: 60211228
Абсолютная просадка по балансу: 0.00
Максимальная просадка по балансу: 679.98 (3.81%)
Относительная просадка по балансу: 4.00% (715.08)
Матожидание выигрыша: 6.46
Коэффициент Шарпа: 0.16
LR Correlation: 0.98
LR Standard Error: 595.06
Короткие трейды (% выигравших): 703 (56.61%)
Прибыльные трейды (% от всех): 793 (55.96%)
Самый большой прибыльный трейд: 53.00
Средний прибыльный трейд: 37.50
Максимальное количество непрерывных выигрышей: 9 (450.38)
Максимальная непрерывная прибыль: 450.38 (9)
Средний непрерывный выигрыш: 2
Символы: 1
Абсолютная просадка по средствам: 6.60
Максимальная просадка по средствам: 715.08 (4.00%)
Относительная просадка по средствам: 4.00% (715.08)
Уровень маржи: 6929.24%
Z-Счет: -1.24 (78.50%)
Результат OnTester: 0
Длинные трейды (% выигравших): 714 (55.32%)
Убыточные трейды (% от всех): 624 (44.04%)
Самый большой убыточный трейд: -53.30
Средний убыточный трейд: -32.97
Максимальное количество непрерывных проигрышей: 9 (-234.00)
Максимальный непрерывный убыток: -276.67 (7)
Средний непрерывный проигрыш: 2

Рис. 13. Результаты тестирования советника SampleHNN на исторических данных

Рис. 13. Результаты тестирования советника SampleHNN на исторических данных


Рис. 14. Статистика входов советника SampleHNN

Рис. 14. Статистика входов советника SampleHNN


Рис. 15. Корреляция прибыли и MFE/MAE советника SampleHNN

Рис. 15. Корреляция прибыли и MFE/MAE советника SampleHNN


Рис. 16. Статистика времени удержания позиции советника SampleHNN

Рис. 16. Статистика времени удержания позиции советника SampleHNN

Как это устроено

Главным компонентом программной реализации на MQL5 является класс CSignalHNN, описанный в модуле сигналов SignalHNN.mqh. Класс наследован от базового класса CExpertSignal и включает в себя все необходимые поля данных и методы для работы и интеграции Hlaiman, а также для работы с советниками, создаваемыми с помощью мастера MQL5.

Шаблон класса выглядит следующим образом:

//+------------------------------------------------------------------+
//| Class CSignalHNN.                                                |
//| Purpose: Class of generator of trade signals based on            |
//|          the 'Hlaiman EA Generator Neural Net' indicator.        |
//| Is derived from the CExpertSignal class.                         |
//+------------------------------------------------------------------+
class CSignalHNN :public CExpertSignal
  {
protected:
   //--- variables
   int               m_hnn;                   // handle of HNN connect
   string            hnn_path;                // MT5 Terminal data path
   string            hnn_fil;                 // HNN file w neural net 
   string            hnn_nam;                 // Expert name
   string            hnn_sym;                 // Symbol name
   string            hnn_per;                 // Period name
   ENUM_TIMEFRAMES   hnn_period;              // Period timeframe
   int               hnn_index;               // Index ext multinet
   int               hnn_bar;                 // index of last bar
   int               hnn_in;                  // input layer 
   int               hnn_out;                 // output layer
   int               hnn_layers;              // layers count
   int               hnn_neurons;             // neurons count
   int               hnn_epoch;               // learn epoch
   double            hnn_signal;              // value of last signal
   double            pattern[];               // values of the pattren
   bool              hnn_norm;                // normalize pattern

public:
                     CSignalHNN(void);        // class constructor
                    ~CSignalHNN(void);        // class destructor
   //--- methods of setting adjustable parameters
   void              PatternBarsCount(int value) { hnn_in = value; ArrayResize(pattern, value + 1);  }
   void              LayersCount(int value)      { hnn_layers = value;  }
   void              NeuronsCount(int value)     { hnn_neurons = value;  }
   void              EpochCount(int value)       { hnn_epoch = value;  }
   void              Normalize(bool value)       { hnn_norm = value;  }
   //--- method of verification of settings
   virtual bool      ValidationSettings(void);
   //--- method of creating the indicator and timeseries
   virtual bool      InitIndicators(CIndicators *indicators);
   //--- methods of checking conditions of entering the market
   virtual double    Direction(void);

   bool              FillPattern(datetime tim = 0);      // prepare pattern
   bool              AddPattern(string name, int ptype);  // add new pattern
   bool              TeachHNN(void);                     // learn neural net
   bool              SaveFileHNN(void);                  // neural net file
   double            CalculateHNN(void);                 // calc neural signal

                                                        //protected:
   //--- method of initialization of the Hlaiman Application
   bool              InitHNN(bool openn);                // Hlaiman App Init
   void              FreeHNN(void)
     {                     // Hlaiman App Deinit
      if(m_hnn!=0 && m_hnn!=INVALID_HANDLE)
        {
         FileClose(m_hnn);
         m_hnn=0;
        }
     };
  };

После создания экземпляра класса с помощью конструктора этот объект может работать в двух основных режимах:

  1. Режим обучения: в  этом режиме происходит сбор рыночных паттернов и обучение нейросети.
  2. Режим индикатора: в данном режиме по текущему паттерну рассчитывается сигнал нейросети.

Идентификация режима происходит при вызове метода инициализации InitHNN посредством булевского параметра openn. Причем истинное значение этого параметра инициирует поиск и открытие файла данных уже обученной нейросети, его загрузку и работу в режиме индикатора (2). Этот режим является рабочим и используется в советнике для торговли.

В отличие от режима обучения (1), который инициируется при вызове метода InitHNN с параметром openn=false, этот режим индикатора является для советника подготовительным и используется для работы обучающего скрипта.

Реализация метода инициализации выглядит следующим образом:

//+------------------------------------------------------------------+
//| Initialize HNN                                                   |
//+------------------------------------------------------------------+
bool CSignalHNN::InitHNN(bool openn)
  {
//--- initialize Hlaiman Application
   int num=0;
   ulong res=0;
   if(m_symbol!=NULL)
     {
      hnn_sym=m_symbol.Name();
      hnn_period=m_period;
        } else {
      hnn_sym=_Symbol;
      hnn_period=_Period;
     }
   hnn_per = string(PeriodSeconds(hnn_period) / 60);
   hnn_fil = hnn_nam + NAME_DELIM + hnn_sym + hnn_per + NAME_DELIM + string(hnn_index) + TYPE_NEURO;
   if(m_hnn== 0|| m_hnn == INVALID_HANDLE)
      m_hnn=FileOpen(HLAIMAN_PIPE,FILE_READ|FILE_WRITE|FILE_BIN);
   if(m_hnn!=0 && m_hnn!=INVALID_HANDLE)
     {
      string source,result="";
      if(openn==true)
        {
         result=CON_OPENN+CON_TRUE;
         if(!FileIsExist(hnn_fil,FILE_READ))
           {
            if(FileIsExist(hnn_fil,FILE_READ|FILE_COMMON))
               hnn_fil=TerminalInfoString(TERMINAL_COMMONDATA_PATH)+PATH_FILES+hnn_fil;
            else
              {
               //              hnn_fil = hnn_path + PATH_MQL5 + PATH_FILES + hnn_fil;
               hnn_fil=TerminalInfoString(TERMINAL_DATA_PATH)+PATH_MQL5+PATH_FILES+hnn_fil;
              }
           }
         else hnn_fil=TerminalInfoString(TERMINAL_DATA_PATH)+PATH_MQL5+PATH_FILES+hnn_fil;
           } else {
         result=CON_OPENN+CON_FALSE;
         hnn_fil=TerminalInfoString(TERMINAL_DATA_PATH)+PATH_MQL5+PATH_FILES+hnn_fil;
        }
      source="unit InitHNN; Interface "+result+" var libr, term, exp, sym: TObject;"
             " Implementation function main: integer;\n\r" // Line #1
             " begin"
             " Result := 0;"
             " libr := Open('mt45.dll');\n\r" // Line #2
             " if (libr <> nil) then"
             " begin"
             " term := Open('"+hnn_path+"');\n\r" // Line #3
             " if (term <> nil) then"
             " begin"
             " exp := term.ObjectOfName('"+hnn_nam+"');"
             " if (exp = nil) then exp := term.AddObject('TMT45Expert');\n\r" // Line #5
             " if (exp <> nil) then"
             " begin"
             " if (exp.Name <> '"+hnn_nam+"') then exp.Name := '"+hnn_nam+"';\n\r" // Line #6
             " sym := exp.ObjectOfName('"+hnn_sym+hnn_per+"');"
             " if (sym = nil) then sym := exp.AddObject('TMT45Symbol');"
             " if (sym <> nil) then"
             " begin"
             " sym.Log.Add('"+hnn_sym+hnn_per+"');\n\r"
             " if (sym.Name <> '"+hnn_sym+hnn_per+"') then sym.Name := '"+hnn_sym+hnn_per+"';"
             " if (sym.Period <> "+hnn_per+") then sym.Period := "+hnn_per+";"
             " if (openn = true) then"
             " begin"
             //                   " sym.Log.Add('" + hnn_fil + "');"
             " if (sym.Open('"+hnn_fil+"')) then Result := sym.TeachInput;\n\r" // ret input Line #8
             " end else"
             " begin"
             " sym.TeachInput := "+IntegerToString(hnn_in)+";"
             " sym.TeachOutput := "+IntegerToString(hnn_out)+";"
             " sym.TeachLayer := "+IntegerToString(hnn_layers)+";"
             " sym.TeachNeurons := "+IntegerToString(hnn_neurons)+";"
             " sym.TeachEpoch := "+IntegerToString(hnn_epoch)+";"
             " sym.FileName := '"+hnn_fil+"';"
             " Result := sym.TeachInput;\n\r" // ret input Line #9
             " end;"
             " end;"
             " end;"
             " end;"
             " end;"
             " end; end.";
      FileWriteString(m_hnn,source,StringLen(source));
      FileFlush(m_hnn);
      while(res<=0 && (MQL5InfoInteger(MQL5_TESTER) || num<WAIT_TIMES))
        {
         Sleep(SLEEP_TIM);
         res=FileSize(m_hnn);
         num++;
        }
      if(res>0)
        {
         result=FileReadString(m_hnn,int(res/2));
         res=StringToInteger(result);
         if(res<=RES_OK)
            printf(__FUNCTION__+": Error! Initialization data(possible reason: FILE NOT EXIST OR CORRUPTED "+hnn_fil);
         else
           {
            printf(__FUNCTION__+": Initialization successful! NEURAL PATTERN "+string(res));
            ArrayResize(pattern,int(res+1));
            return(true);
           }
        }
      else
         printf(__FUNCTION__+": Error! pipe server not responding(possible elimination: RESTART HLAIMAN APPLICATION)");
     }
   else
      printf(__FUNCTION__+": Error! initializing pipe server (possible reason: HLAIMAN APPLICATION IS NOT RUNNING!)");
//--- ok
   return(false);
  }

Как видно из кода, на первом шаге инициализации делается попытка открыть именованный канал для установки связи с приложением Hlaiman. Если это не удается (например, когда <hlaim.exe> не запущен), то осуществляется выход с отрицательным статусом. На втором шаге (при удачном завершении первого и рабочем режиме индикатора) происходит просмотр локальных и общих папок терминала с целью поиска соответствующего имени файла с данными нейросети. На третьем шаге выполняется подготовка текста кода на языке ObjectPascal (Delphi) для инициализации непосредственно в приложении Hlaiman.

Текст кода помещается в строку source. Для удобства форматирования он разбит с помощью перевода каретки "\n\r" на подстроки и содержит обращения к свойствам и методам объектов Hlaiman (см. комментарии). Объектная среда MetaTrader 5 Hlaiman плагина, как определено в тексте, построена в иерархическую древовидную структуру, в корне которой находится объект самого плагина.

На следующем уровне находится объект терминала МetaТrader 5, затем - объекты советников и символов. При удачной трансляции и выполнении исходного кода, переданного по именованному каналу, в возвращаемом значении Result будет получено количество элементов входного вектора нейросети. Это значение, как видно из кода, используется для инициализации массива паттерна, и выполнение метода завершается с положительным статусом.

Следующими ключевыми методами класса CSignalHNN являются CalculateHNN, AddPattern и TeachHNN, первый из которых возвращает результат расчета нейросети в режиме индикатора. Вторые два используются в режиме обучения для пополнения коллекции при сборе паттернов и запуске процесса обучения нейросети соответственно.

Реализация указанных методов в файле <SignalHNN.mqh> выглядит следующим образом:

//+------------------------------------------------------------------+
//| Calculate HNN signal                                             |
//+------------------------------------------------------------------+
double CSignalHNN::CalculateHNN(void)
  {
   if(m_hnn==0 || m_hnn==INVALID_HANDLE) return(0.0);
   int num = 0;
   ulong siz = 0;
   double res=0.0;
   string source,result="";
   if(FillPattern(0)==true)
     {
      result=CON_START;
      for(int i=1; i<(ArraySize(pattern)-1); i++)
         result= result+DoubleToString(pattern[i])+CON_ADD;
      result = result + DoubleToString(pattern[ArraySize(pattern) - 1]) + CON_END;
      source = "unit CalcHNN; Interface " + result + " var i: integer; libr, term, exp, sym, lst: TObject;"
              " Implementation function main: double;\n\r" // Line #1
              " begin"
              " Result := 0.0;"
              " libr := Open('mt45.dll');\n\r" // Line #2
              " if (libr <> nil) then"
              " begin"
              " term := Open('"+hnn_path+"');\n\r" // Line #3
              " if (term <> nil) then"
              " begin"
              " exp := term.ObjectOfName('"+hnn_nam+"');\n\r" // Line #4
              " if (exp <> nil) then"
              " begin"
              " sym := exp.ObjectOfName('"+hnn_sym+hnn_per+"');\n\r" // Line #5
              " if (sym <> nil) then"
              " begin"
              " lst := TStringList.Create;"
              " if (lst <> nil) then"
              " begin"
              " lst.Text := cons;"
              " if (lst.Count >= sym.NetInputs.Count) then"
              " begin"
              " for i := 0 to sym.NetInputs.Count - 1 do"
              " begin"
              " sym.NetInputs.Objects[i].NetValue := StrToFloat(lst[i]);\n\r" // Line #6
              //                    " sym.Log.Add('Input ' + IntToStr(i) + ' = ' + lst[i]);"              
              " end;"
              " sym.Computed := true;"
              " Result := sym.NetOutputs.Objects[0].NetValue;\n\r" // ret input Line #7
              " end;"
              " lst.Free;"
              " end;"
              " end;"
              " end;"
              " end;"
              " end;"
              " end; end.";
      FileWriteString(m_hnn,source,StringLen(source));
      FileFlush(m_hnn);
      while(siz<=0 && (MQL5InfoInteger(MQL5_TESTER) || num<WAIT_TIMES))
        {
         Sleep(SLEEP_TIM);
         siz=FileSize(m_hnn);
         num++;
        }
      if(siz>0)
        {
         result=FileReadString(m_hnn,int(siz/2));
         res=StringToDouble(result);
        }
     } //else Print("fill pattern error!");
   return(res);
  }
//+------------------------------------------------------------------+
//| AddPattern                                                       |
//+------------------------------------------------------------------+
bool CSignalHNN::AddPattern(string name,int ptype)
  {
   int num=0;
   long res=0;
   ulong siz=0;
   string result,source,nam=name;
   if(m_hnn!=0 || m_hnn!=INVALID_HANDLE)
     {
      pattern[0]=ptype;
      result=CON_START;
      for(int i=0; i<(ArraySize(pattern)-1); i++)
         result= result+DoubleToString(pattern[i])+CON_ADD;
      result = result + DoubleToString(pattern[ArraySize(pattern) - 1]) + CON_END;
      source = "unit AddPatternHNN; Interface " + result + " Implementation function main: integer;"
              " var i: integer; out: double; onam: string;"
              " libr, term, exp, sym, ord, tck, lst: TObject;\n\r" // Line #1
              " begin"
              " Result := 0;"
              " libr := Open('mt45.dll');\n\r" // Line #2
              " if (libr <> nil) then"
              " begin"
              " term := Open('"+hnn_path+"');\n\r" // Line #3
              " if (term <> nil) then"
              " begin"
              " exp := term.ObjectOfName('"+hnn_nam+"');\n\r" // Line #4
              " if (exp <> nil) then"
              " begin"
              " sym := exp.ObjectOfName('"+hnn_sym+hnn_per+"');\n\r" // Line #5
              " if (sym <> nil) then"
              " begin"
              " lst := TStringList.Create;"
              " if (lst <> nil) then"
              " begin"
              " lst.Text := cons;"
              " if (lst.Count >= (sym.TeachInput + sym.TeachOutput)) then"
              " begin"
              " out := StrToFloat(lst[0]);"
              " if(out >= 0) then onam := 'BUY-"+nam+"'"
              " else onam := 'SELL-"+nam+"';"
              " ord := sym.ObjectOfName(onam);"
              " if (ord = nil) then ord := sym.AddObject('TMT45Order');\n\r" // Line #6                    
              " if (ord <> nil) then"
              " begin"
              " if (ord.Name <> onam) then ord.Name := onam;\n\r" // Line #7
              " if (out >= 0) then ord.OrderType := 0 else ord.OrderType := 1;"
              " if (ord.NetOutput <> out) then ord.NetOutput := out;\n\r" // Line #8
              " for i := 1 to sym.TeachInput do"
              " begin"
              " if(i <= ord.Count) then tck := ord.Items[i - 1] else"
              " tck := ord.AddObject('TMT45Tick');\n\r" // Line #10                    
              " if (tck <> nil) then"
              " begin"
              " tck.x := i;"
              " tck.y := StrToFloat(lst[i]);\n\r" // Line #11
              " end;"
              " end;"
              " end;"
              " Result := sym.Count;\n\r" // ret input Line #12
              " end;"
              " lst.Free;"
              " end;"
              " end;"
              " end;"
              " end;"
              " end;"
              " end; end.";
      FileWriteString(m_hnn,source,StringLen(source));
      FileFlush(m_hnn);
      while(siz<=0 && (MQL5InfoInteger(MQL5_TESTER) || num<WAIT_TIMES))
        {
         Sleep(SLEEP_TIM);
         siz=FileSize(m_hnn);
         num++;
        }
      if(siz>0)
        {
         result=FileReadString(m_hnn,int(siz/2));
         res=StringToInteger(result);
        }
     }
   return(res>0);
  }
//+------------------------------------------------------------------+
//| TeachHNN                                                         |
//+------------------------------------------------------------------+
bool CSignalHNN::TeachHNN(void)
  {
   int num=0;
   long res=0;
   ulong siz=0;
   string result,source;
   if(m_hnn!=0 || m_hnn!=INVALID_HANDLE)
     {
      source="unit TeachHNN; Interface const WAIT_TIM = 100; WAIT_CNT = 100;"
             "  var i: integer; libr, term, exp, sym: TObject;"
             " Implementation function main: integer;\n\r" // Line #1
             " begin"
             " Result := 0;"
             " libr := Open('mt45.dll');\n\r" // Line #2
             " if (libr <> nil) then"
             " begin"
             " term := Open('"+hnn_path+"');\n\r" // Line #3
             " if (term <> nil) then"
             " begin"
             " exp := term.ObjectOfName('"+hnn_nam+"');\n\r" // Line #4
             " if (exp <> nil) then"
             " begin"
             " sym := exp.ObjectOfName('"+hnn_sym+hnn_per+"');\n\r" // Line #5
             " if (sym <> nil) then"
             " begin"
             " if (sym.Teached) then sym.Teached := false;\n\r" // Line #6
             " sym.Teached := true;\n\r" // Line #7
             " Result := sym.Count;\n\r" // ret input Line #8
             " end;"
             " end;"
             " end;"
             " end;"
             " end; end.";
      FileWriteString(m_hnn,source,StringLen(source));
      FileFlush(m_hnn);
      while(siz<=0)
        {// && (MQL5InfoInteger(MQL5_TESTER) || num < WAIT_TIMES)) {
         Sleep(SLEEP_TIM);
         siz=FileSize(m_hnn);
         num++;
        }
      if(siz>0)
        {
         result=FileReadString(m_hnn,int(siz/2));
         res=StringToInteger(result);
        }
     }
   return(res>0);
  }

Как видно из кода, тело методов в основном состоит из строк source, текст которых построен аналогично тем, что рассмотрены выше при описании метода InitHNN. Отличие состоит в том, что в объектной иерархии плагина для олицетворения паттернов добавлены два уровня - ордер и тик. Кроме того, в коде используются дополнительные свойства и методы объектов. Так для запуска расчета нейросети взводится флаг Computed объекта "символ", а для запуска обучения - флаг Teached.

Отличием в CalculateHNN от других методов является также тип возвращаемого функцией main значения - теперь он double. Это значение как раз и является откликом нейросети - сигналом, где в диапазоне 0..1 находится уровень BUY, а в диапазоне 0..-1 - уровень SELL. Контроль этого сигнала, который используется советником для принятия решений об открытии или закрытии соответствующих торговых позиций, осуществляется посредством метода Direction. Он отвечает за пересчет при появлении нового бара и возвращает его значение в процентном выражении.

//+------------------------------------------------------------------+
//| Check conditions for trading signals.                            |
//+------------------------------------------------------------------+
double CSignalHNN::Direction(void)
  {
   if( m_hnn == 0 || m_hnn == INVALID_HANDLE) return(EMPTY_VALUE);
//--- check new bar condition
   int cur_bar = Bars(hnn_sym, hnn_period);
   if (hnn_bar != cur_bar) {
//--- condition OK
      hnn_signal = CalculateHNN() * 100;
      hnn_bar = cur_bar;
   }
   return(hnn_signal);
  }

Для настройки порога чувствительности советника к сигналам на открытие и закрытие торговых позиций предназначены соответствующие внешние переменные:

  • input int    Signal_ThresholdOpen =10;      // Signal threshold value to open [0...100]
  • input int    Signal_ThresholdClose=10;      // Signal threshold value to close [0...100]

Практически уровни сигнала зависят от качества и интенсивности обучения нейросети, которую, как правило, можно визуально оценивать, наблюдая за динамикой уменьшения расчетной ошибки, отображаемой на индикаторе хода обучения.


Выводы

Использование Hlaiman EA Generator предоставляет компоненты и прозрачную контролируемую объектную среду интеграции в MQL5, при этом:

  1. В интерфейсе MQL5 Wizard появляется дополнительный тип, основанный на распознавании паттернов и сигналов, а также возможность генерации нейросетевых советников-роботов.
  2. Быстро создаваемые нейросетевые советники так же быстро могут быть адаптированы к изменениям рынка и многократно подвергаться обучению на различных торговых инструментах и таймфреймах.
  3. Благодаря возможности MQL5 Wizard подключать несколько модулей сигналов, можно создавать сложные мультивалютные нейросетевые советники и\или комбинированные индикаторно-нейросетевые советник. Также их можно комбинировать с различными дополнительными фильтрами, например, временными.
  4. Наконец, сам нейросетевой модуль можно использовать в качестве дополнительного фильтра для повышения эффективности уже готового рабочего советника. Для этого служит возможность обучения нейросети на графиках визуализации результатов теста исходного советника.

Одним из недостатков предложенной реализации можно считать использование скриптового интерпретатора, из-за чего интегрированная вычислительная система может показаться недостаточно быстродействующей. Однако нужно заметить, что во-первых, интерпретация скриптового кода, как и работа Hlaiman плагина, выполняется асинхронно с EX5, то есть выполняется распараллеливание задач. Во-вторых, для повышения быстродействия емких по времени вычислений, например, больших нейросетей, MetaTrader 5 и Hlaiman можно запускать на различных компьютерах со связью через сетевые именованные каналы. Причем запуск торгового терминала на отдельном компьютере в дополнение к увеличению быстродействия может повысить и его безопасность.

В качестве перспективы можно рассматривать разработку советников, самообучающихся в процессе торговли. Для начала, проще всего это сделать на основе объединения кода советника и обучающего скрипта, поскольку в них обоих используется один класс CSignalHNN, предоставляющий необходимую функциональность. Но это уже материал для продолжения или новой статьи, если это будет актуально.

Ознакомительную версию программы Hlaiman EA Generator можно скачать по ссылке.

Приложения:

  • SignalHNN.mqh - модуль сигналов "MQL5\Include\Expert\Signal\".
  • TeachHNN.mq5 - обучающий скрипт "MQL5\Scripts\".
  • SampleHNN.mq5 - торговый советник на базе модуля торговых сигналов "Signals of patterns Hlaiman Neural Network EA generator", созданный при помощи MQL5 Wizard.
Прикрепленные файлы |
signalhnn.mqh (23.88 KB)
teachhnn.mq5 (9.67 KB)
samplehnn.mq5 (6.35 KB)
Последние комментарии | Перейти к обсуждению на форуме трейдеров (74)
Rashid Umarov
Rashid Umarov | 17 авг 2015 в 13:40
Stanislav Korotky:
Прям какие-то двойные стандарты со стороны администрации. Меня, помнится, забанили через несколько минут после первой же ссылки на Маркет. ;-)
Напишите интересную статью с реализацией в Маркете  - бонусом будет ветка с её обсуждением, где вас не забанят за такое.
Ivan Negreshniy
Ivan Negreshniy | 18 авг 2015 в 11:17
Теперь с помощью Hlaiman EA Generator можно попробовать повысить эффективность торговли других, готовых советников, если те представлены в исходниках и основаны на движении цен, например на техническом анализе. Для этого, непосредственно в исходный код, такого советника добавляется нейросетевой фильтр, который первоначально может быть включен на обучение при прогоне советника в тестере, а затем можно включить в работу. Причем в настройки советника добавляются переменные для управления, режимами работы фильтра и необходимой степенью фильтрации.
Бесплатный образец советника на примере штатного Moving Average, можно скачать в маркете, там же можно посмотреть видео, процессов обучения и тестирования.
https://www.mql5.com/ru/market/product/8460

В данном примере, обучение нейросетевого фильтра выполнялось по результатам торговли оригинального Moving Average за 2014 год, последнее обновление советника - март 2015 года.

Для того что бы проверить эффективность фильтра я прогнал советник в тестере за весь период прошедший после публикации, т.е. с апреля по текущую дату августа.

Первый прогон выполнен с отключенным фильтром (соответствует оригинальному Moving Average), а второй с включенным (см. отмеченную переменную UseNeuro = true), вот результаты:

Таким образом, можно убедиться, что обученный в прошлом году нейросетевой фильтр, за прошедшее время, не утратил эффективность, причем может повышать продуктивность торговли, практически вдвое.

СанСаныч Фоменко
СанСаныч Фоменко | 18 авг 2015 в 14:08
Ivan Negreshniy:


Таким образом, можно убедиться, что обученный в прошлом году нейросетевой фильтр, за прошедшее время, не утратил эффективность, причем может повышать продуктивность торговли, практически вдвое.

Приведенные Вами картинки говорят прямо обратное: нельзя пользоваться Вашим советником не при каких обстоятельствах, так как в самом начале происходит не объяснимый скачок прибыли, который затем разбазаривается длительное время. А если этот скачок прибыли убрать (кто сказал, что на реале торговля начнется с такого скачка?), то на первой картинке видим падение, а на втором рисунке -  в конечном итоге прибыль с промежуточными просадками.

 

 На сайте была опубликована моя статья, из которой следует, что проблема не в модели (нейросети или что-то более эффективное), а в исходных данных. Показано применение Rattle, желающие могут приобрести у меня книгу, которая представляет расширенную версию статьи. Так с помощью Rattle можно понять одну очень простую и чрезвычайно важную вещь: проблема не в алгоритме, а проблема в исходных данных, которые могут порождать переобученные модели, а могут и не порождать переобучение. Вот Rattle и помогает экспериментировать с наборами входных данных с целью отбора таких, которые не приводят к переобученности (сверхподгонке).

А выбор модели - дело десятое.

 

ПС.

По моим исследованиям использование любых разновидностей МА дает переобученные модели, т.е. модели, которые показывают прекрасные результаты на исторических данных и абсолютно убыточные на реальных данных.

Ivan Negreshniy
Ivan Negreshniy | 19 авг 2015 в 13:04
СанСаныч Фоменко:

Приведенные Вами картинки говорят прямо обратное: нельзя пользоваться Вашим советником не при каких обстоятельствах, так как в самом начале происходит не объяснимый скачок прибыли, который затем разбазаривается длительное время. А если этот скачок прибыли убрать (кто сказал, что на реале торговля начнется с такого скачка?), то на первой картинке видим падение, а на втором рисунке -  в конечном итоге прибыль с промежуточными просадками.

 

 На сайте была опубликована моя статья, из которой следует, что проблема не в модели (нейросети или что-то более эффективное), а в исходных данных. Показано применение Rattle, желающие могут приобрести у меня книгу, которая представляет расширенную версию статьи. Так с помощью Rattle можно понять одну очень простую и чрезвычайно важную вещь: проблема не в алгоритме, а проблема в исходных данных, которые могут порождать переобученные модели, а могут и не порождать переобучение. Вот Rattle и помогает экспериментировать с наборами входных данных с целью отбора таких, которые не приводят к переобученности (сверхподгонке).

А выбор модели - дело десятое.

 

ПС.

По моим исследованиям использование любых разновидностей МА дает переобученные модели, т.е. модели, которые показывают прекрасные результаты на исторических данных и абсолютно убыточные на реальных данных.

Что касается сомнений в результатах теста советника и выводах - учитывая то, что прогоны тестера выполнены на таймфрейме H4, а тест полностью форвардный - ваши сомнения в его реальности безосновательны. Во-первых, испугавшие вас скачки - это просто крупные сделки на длительных трендах, определяемых между пересечениями скользящих средних с графиком цен, чтобы это понять, достаточно было включить в тестере визуализацию или, если вы программист, мельком взглянуть в исходник советника, который есть в поставке терминала MT4, во-вторых, нет повода ожидать, что на реале было бы не так - т.к. влияние задержек, проскальзываний и спредов реальной торговли на таких больших таймфреймах практически не сказывается.

Что касается работоспособности идеи и самого советника на скользящих средних - приведенный в пример советник, выставлен не для того, что бы анализировать качество ПО от MetaQuotes или эффективность использования индикаторов MA т.к. и первое и второе давно признано в отрасли и ИМХО не требует дополнительных доказательств.

Приведенный советник, это демонстрация новой функции движка Hlaiman EA Generator, заключающейся в возможности улучшения готовых советников, путем генерации вспомогательного нейросетевого фильтра. Причем, для обучении нейросетевого фильтра в тестере, применяется график торговли данного советника и исходный поток котировок, т.е. никакие индикаторы, вызываемые советником, для обучения не используются.

Такой режим обучения позволяет отфильтровать не только ошибочные сигналы любого количества индикаторов, свечных фигур, паттернов PA и.т.д., но и некоторые косяки манименеджмента.

Что касается статьи и книги, которые вы рекламируете - респект за полезный, теоретический материал, но давайте пока не будем, на их основании, опровергать устоявшиеся понятия, по крайней мере, пока к этому нет иллюстрации со стороны главных критериев истины - ваших практических результатов.


Vladimir Suschenko
Vladimir Suschenko | 19 авг 2015 в 17:47
Rashid Umarov:
Напишите интересную статью с реализацией в Маркете  - бонусом будет ветка с её обсуждением, где вас не забанят за такое.
Внесёте новым пунктом в правила? Это выглядело бы лучше, чем исключения из правил.
Приобщаемся к объектно-ориентированному программированию в MQL5 Приобщаемся к объектно-ориентированному программированию в MQL5

В статье показано, как создать объектно-ориентированного торгового советника с нуля, начиная с выработки торговой идеи и заканчивая созданием торгового советника на языке MQL5, воплощающего данную идею в жизнь. На мой взгляд, самый верный путь к успеху - это обучение на практике, поэтому в статье рассмотрен практический пример, демонстрирующий, как можно упорядочить свои идеи и приступить к программированию форекс-роботов. Кроме того, мне хотелось пробудить интерес читателей к объектно-ориентированному подходу.

Генератор торговых сигналов пользовательского индикатора Генератор торговых сигналов пользовательского индикатора

Как сделать генератор торговых сигналов основанный на пользовательском индикаторе. Как создать пользовательский индикатор. Как получить доступ к данным пользовательского индикатора. Зачем нужна конструкция IS_PATTERN_USAGE(0) и model 0.

Рецепты MQL5 - Уменьшаем эффект подгонки и решаем проблему недостаточного количества котировок Рецепты MQL5 - Уменьшаем эффект подгонки и решаем проблему недостаточного количества котировок

Какую бы торговую стратегию вы не использовали всегда возникает один вопрос: какие выбрать параметры, чтобы получить прибыль в будущем? В статье приведен пример эксперта с возможностью оптимизации параметров на множестве символов одновременно. Это метод призван уменьшить эффект подгонки параметров, а также решает проблему, когда данных одного символа недостаточно для проведения исследования.

Мастер MQL5: Как научить эксперта открывать отложенные ордера по любым ценам Мастер MQL5: Как научить эксперта открывать отложенные ордера по любым ценам

В статье рассмотрен способ модификации кода модуля торговых сигналов для реализации функционала выставления отложенных ордеров на произвольном расстоянии от текущей цены: это может быть цена Close или Open предыдущего бара, а может быть значение скользящей средней. Вариантов множество – главное, теперь цену открытия отложенного ордера можно выставлять любую. Данная статья станет полезной для тех, кто использует стратегии торговли отложенными ордерами.