MathTicker - генератор тиков в математическом режиме - библиотека для MetaTrader 5

Альтернатива для библиотеки EAToMath  https://www.mql5.com/ru/code/61283

Записывает тики в режиме по реальным тикам и считывает их в математическом вызывая вашу стратегию с каждым записанным тиком.

Причина создания: Тестер MQ, записывает файлы с тиковыми данными каждому агенту при каждом запуске оптимизатора. У меня 36 агентов записывают по 10 Гб для одного из инструментов и периода тестирования - итого 360Гб на диске в 480 Гб. Занимает времени этот процесс около 1 часа перед каждой оптимизацией. Обычные SSD имеют ресурс в 500-1000 циклов записи. Перезаписывая 360 Гб каждый раз ресурс очень быстро исчерпается. Данная библиотека записывает только 1 файл и потом все 36 агентов будут читать данные из этого одного файла. Всё это и было причиной написания библиотеки: используем только 1 файл + экономия 1 часа на запись данных каждому агенту + ускорение по сравнению с тестером MQ и даже с Virtual в режиме по реальным тикам.
Проблему исследовали одновременни с fxsaber (автором EAToMath), каждый со своей версией. Мой код мне более понятен, поэтому использую его.

Для торговых операций используется библиотека MT4Orders https://www.mql5.com/ru/code/16006
Для виртуальной торговли нужно использовать библиотеку Virtual https://www.mql5.com/ru/code/22577
Для просмотра результатов торговли можно использовать MT4Orders QuickReport https://www.mql5.com/ru/code/47816 или Report
Для сжатия тиков TickCompressor https://www.mql5.com/ru/code/66201
Для удаления возможно лишних тиков подключается библиотека  Control_Trade_Sessions https://www.mql5.com/ru/code/48059 например, если котировочная сессия больше торговой. Её можно и удалить, если используются все тики. т.е. сессии совпадают.

Отличия от EAToMath:

Плюсы:

• код короче и проще, всего 5 подключаемых библиотек. При необходимости доработки - будет проще разобраться.
  
  
• данные сжимаются лучше, благодаря другому алгоритму https://www.mql5.com/ru/code/66201. При сохранении только time_msc, ask и bid - до 86% тиков сохраняются как 3 char числа, т.е. 3 байта. Средний размер на тик = 3.266 Байта при сохранении тиковых данных BTCUSDT за 2023 год.
  При сохранении с объемами среднее = 4.835 Байта. И при сохранении полном тике = 8.439 Байта. Ниже будет таблица с результатами теста.
  Дополнительно можно использовать встроенную ZIP архивацию. Размер файлов уменьшается еще в 2 раза. Такой файл занимает 245 Мб, при этом сумма рамеров файлов в .tcs за 2023 год занимает 364 Мб, т.е. сжатие в 1,5 раза лeчше чем у MQ. А скорость генерации тиков в математическом режиме в ~2 раза выше. См. таблицу ниже.
  
  
• Вариантов сохранения больше:
  
  
  
• файл можно сохранять как на SSD, так и на RAM диск, сделав ссылку в системе. Файлы могут занимать много места и RAM диска может не хватать, поэтому можно выбрать сохранение на основной диск. Скорость чтения с SSD и с RAM примерно одинаковы, Читал, что SSD кеширует до 5% от полного объема самые часто запрашиваемые данные.
  При чтении есть небольшой износ SSD, т.к. чаще нужно перезаписывать ячейки памяти, чем при хранении без чтения. Точных цифр не знаю, но например 1 перезапись на 10 чтений или на 1000... Но это мало значимо по сравнению с износом диска тестером MQ.
  

Минусы:

• Подключение Virtual нужно делать самостоятельно (инструкция по использованию тут https://www.mql5.com/ru/code/22577), EAToMath  сам передаст вашу стратегию в Virtual.
  

Скорость работы для BidAsk варианта соизмерима с EAToMath. Другие варианты медленнее, т.к. или содержат больше данных или имеют дополнительное ZIP сжатие.

Особенности использования:

В стратегии нельзя использовать стандартные функции Symbol(), Digits() (=4), Point() (=0.0001), т.к. они выдадут дефолтные значения, а не относящиеся к тестируемому символу. Вместо них используйте _Symbol, _Digits, _Point которые переопределены на значения считанные из файла. Так же добавлены новые константы _TickSize и _TickValue с значениями от записанного символа - они нужны для правильного расчета прибыли, комиссии и свопов в валюте депозита.

Порядок работы с периодом тестирования выбранным при сохранении тиков:

1. Выбрать режим тестирования по реальным тикам, нужный инструмент и даты тестирования. Переменную Task установить в один из Save и выбрать вариант сохранения тиков. Запустить тестер. После этого в указанной папке будет создан файл с тиками.
   
   
2. Установить переменную Task в Run_Strategy. Режим можно оставить по реальным тикам, чтобы потом сравнить. Запустить тестер. Расчеты производятся по реальным тикам, а не из файла. Получить результат.
   
   
   
3. Установить режим тестирования в математические расчеты. Запустить тестер. Расчеты производятся по тикам из файла. Сравнить с результатом из п.2. Должно быть одинаково, но в несколько раз быстрее.

Порядок работы с архивом:

1. Создать архив со всеми тиками из истории: Выбрать режим тестирования по реальным тикам, нужный инструмент. Даты тестирования установить от <= первого тика, до >= последнего тика в имеющейся истрии . Переменную Task установить в один из Save...To_Archive и выбрать вариант сохранения тиков. Запустить тестер. После этого в указанной папке будет создана папка с именем инструмена в которой сохранятся файлы с тиками для каждого года. Последний год можно по мере необходимости перезаписывать, для этого в датах выбрать только текущий год, чтобы не перезаписывать предыдущие годы.
2. Установить режим тестирования в математические расчеты. Установить переменную Task в Run_Strategy_Fron_Archive.
3. В группе инпутов MathTicker: using the full archive установить:
   Instrument - в название инструмента (должно совпадать с названием папки, где хранятся его тики), стартовую и конечную дату теста.
   
   
4. Запустить тестер. Расчеты производятся по тикам из требуемых годовых файлов. Из за того, что работа идет не с одним файлом, а с несколькими, то это немного медленнее, т.к. тратится время на открытие и закрытие файлов. Например вместо 1.7 секунды будет 2.7 секунды на генерацию тиков за 3 года.
5. Сумма тиков полученная экспертом ниже может отличаться на небольшое значение одного первого тика. При тестах на кастоминых символах в режиме реальных тиков первый тик выдает только Ask или Bid (если вы не сохраняли оба). При тесте из архива они оба восстановлены из предыдущих тиков.
   

Пример простейшего эксперта для оценки скорости работы:

#property tester_no_cache
#include <Forester\MathTicker.mqh> // подключение торговли в математическом режиме
input int rep=0;//Repeats for optimization
sinput bool AddVolumes=true;
void OnInit(){}

void OnTick(){
   static MqlTick Tick;
   if (SymbolInfoTick(_Symbol, Tick)){
      #ifdef _MathTick_
         if(MathTick.SaveTick(Tick)){ return; }//если сохраняем тики, то выход и не торгуем. 
      #endif
      Strategy(Tick);
   }
}
double Sum = 0;int tk=0;
void Strategy(MqlTick& Tick){ // простейшая стратегия - использована для сравнения скорости чтения с EAToMath  
   Sum += Tick.bid+Tick.ask+(AddVolumes?Tick.volume_real:0.0); tk++;
   //if(tk<100){Print(Tick.time," ",Tick.ask," ",Tick.bid," ",Tick.last," ",Tick.volume_real," ",Tick.flags);}
}

ulong StartTime  = GetMicrosecondCount();
double OnTester(){
   #ifdef _MathTick_ // запуск с MathTick - он считает параметры символа из файла с тиками. Для тестов в мат режиме
      if(MathTick.SaveTicksEnd()){return 0;}//закрыть файл после записи тиков и выйти
      if(MathTick.ReadSymbolVars()){
         MathTick.Ticker();//в режиме мат расчетов подаст все тики в Strategy(MqlTick &Tick).
      }
   #endif
   Print("ticks: ",tk);
   long work_time = (long)(GetMicrosecondCount() - StartTime)/1000;
   //return(NormalizeDouble(work_time, 1)); // для получения скорости работы и
   return Sum;// для сравнения результатов расчета
}

Можно переключать 1 настройку:

При генерации тиков будет выведена статистика о сжатии тиков.
Ниже распечатки статистики, объемов и времени генерации тиков.

-----------
MQ тестер без объемов
pass 1 returned result 4345830621850.311523 in 0:00:08.232

MQ тестер с объемами
pass 1 returned result 4345879117123.356445 in 0:00:07.962

Размер файлов .tcs за тот же 2023 год:

Все варианты с ZIP, даже полное сохранение тиков - компактнее (от 3,5 до 1,5 раз).

Пример эксперта для виртуальной торговли и вывода отчетов:

#property tester_no_cache

#include <MT4Orders.mqh> // https://www.mql5.com/ru/code/16006
#include <Forester\MathTicker.mqh> // подключение торговли в математическом режиме

#define ORDER_CURRENCY_DIGITS 2 // Задание Digits для вычисления профита/комиссии/свопа при помещении в историю торгов.
#define VIRTUAL_LIMITS_TP_SLIPPAGE // Лимитники и TP исполняются по первой цене акцепта - положительные проскальзывания
#define ORDER_COMMISSION -0 // Задание комиссии = Lots * ORDER_COMMISSION. 
#include <fxsaber\Virtual\Virtual.mqh> // https://www.mql5.com/ru/code/22577


#define REPORT_TESTER             // В тестере будут автоматически записываться отчеты
#define REPORT_BROWSER            // Создание отчета с запуском браузера - требует разрешения DLL.
#define USE_highcharts //- You can download and try out all Highcharts products for free. Once your project/product is ready for launch, purchase a commercial license. https://shop.highcharts.com/
#include <MT4Orders_QuickReport.mqh>//


enum VirtTyp {MQ_Tester=0,Virtual1=1,Virtual2=2};
sinput VirtTyp tester1=1;//Tester 1
sinput VirtTyp tester2=2;//Tester 2

input int rep=0;//Repeats for optimization

bool isOptimization = false, isTester=false; double balInit=0;
VIRTUAL_POINTER Virtual[10];

void OnInit(){
   Virtual[0] = 0; // 0 - реальное торговое окружение
   Virtual[1] = VIRTUAL::Create(AccountBalance()); // Создали виртуалку 1.
   Virtual[2] = VIRTUAL::Create(AccountBalance()); // Создали виртуалку 2.
   //Virtual[tester1].Select();
   isOptimization = MQLInfoInteger(MQL_OPTIMIZATION) ;
   isTester = MQLInfoInteger(MQL_TESTER);
   balInit=AccountBalance();
}

void OnTick(){
   //Virtual[0].Select();
   VIRTUAL::NewTick();//отправить тик в текущую виртуалку
   static MqlTick Tick;
   if (SymbolInfoTick(_Symbol, Tick)){
      #ifdef _MathTick_
         if(MathTick.SaveTick(Tick)){ return; }//при записи тиков выйдет из функции, Strategy() не будет вызвана
      #endif
      Strategy(Tick);//trading
   }
}

void Strategy(MqlTick& Tick){ // простейшая стратегия - использована для сравнения скорости чтения с EAToMath  
   if(Tick.ask==0 || Tick.bid==0){return;}//MQ тестер торгует при сбойном тике, Virtual нет. Запрет и для MQ
   if(tester1>0){Virtual[tester1].Select(); VIRTUAL::NewTick(Tick);}//выбрать виртуалку 1 и отправить тик
   if(tester2>0){Virtual[tester2].Select(); VIRTUAL::NewTick(Tick);}//выбрать виртуалку 2 и отправить тик
   if(isNewHour(Tick.time)){//первый тик каждого часа
      if(GetHour0(Tick.time) % 2==0){// купить по четным часам в тестере 1
         Virtual[tester1].Select();//выбрать виртуалку 1
         OrderSend(_Symbol, OP_BUY, 1, Tick.ask, 0, Tick.ask - 100 * _Point, Tick.ask + 100 * _Point); 
      }else{//продать по нечетным часам в тестере 2
         Virtual[tester2].Select();//выбрать виртуалку 2
         OrderSend(_Symbol, OP_SELL, 1, Tick.bid, 0, Tick.bid + 100 * _Point, Tick.bid - 100 * _Point);   
      } 
   }
}

double OnTester(){
   #ifdef _MathTick_ // запуск с MathTick - он считат параметры символа из файла с тиками. Для тестов в мат режиме
      if(MathTick.SaveTicksEnd()){return 0;}//return after ticks saving
      if(MathTick.isMath && MathTick.ReadSymbolVars()){
         if(tester1==0){Alert("   >>>>>>>>>   Virtual tester 1=MQ. In math mode can be used only virtual tester.   <<<<<<<<");return 0;}
         if(tester2==0){Alert("   >>>>>>>>>   Virtual tester 1=MQ. In math mode can be used only virtual tester.   <<<<<<<<");return 0;}

         SYMBOL_BASE sb; sb.Point=_Point; sb.Digits=_Digits; sb.Symbol=_Symbol; sb.SymbolID=0; sb.TickSize=_TickSize; sb.TickValue=_TickValue / _TickSize;//this.TickValue_ /= this.TickSize_; //as in SetSymbol() in \fxsaber\Virtual\Symbol_Base.mqh
         Virtual[1].Select(); VIRTUAL::SetSymbolBase(sb); Virtual[2].Select(); VIRTUAL::SetSymbolBase(sb);
         //minFreezeLevel = _minFreezeLevel*_Point; minStopLevel = _minStopLevel*_Point;

         Virtual[tester1].Select();
         MathTick.Ticker();//в режиме мат расчетов подаст все тики в Strategy(MqlTick &Tick). 
      }
   #endif

  double ret_val=0;
  for (int v = 0 ; v <= VIRTUAL::Total(); v++){
    if(Virtual[v].Select()){
      if(v > 0){
         VIRTUAL::Stop();
         #ifdef _MathTick_ // запуск с MathTick - он считат параметры символа из файла с тиками. Для тестов в мат режиме
            if(MathTick.isMath){ VIRTUAL::CalcSwaps( MathTick.swapShort, MathTick.swapLong, 0, MathTick.swap3days ); }//свопы из файла с тиками
            else{VIRTUAL::CalcSwaps( _Symbol, 0 );}
         #else
          VIRTUAL::CalcSwaps( _Symbol, 0 );//расчитать свопы - всем сделкам один своп, т.е. если 2+ разных инструмента, то обоим будет своп основного символа
         #endif
      }// закрыть незавершенные сделки по цене последнего тика, как в тестере

      if( !isOptimization){QuickReport("report_"+(string)v, true, v,false,true);}
      Print((string)v+" AccountBalance = ",AccountBalance(), "   AccountEquity = ",AccountEquity());
      double prib=AccountBalance()-balInit;
      ret_val += prib; //
  }}
  return ret_val;// для сравнения результатов расчета
}



bool isNewHour  (datetime &t){ static int next_h=-1; if(t < next_h){ return false; } else { next_h = (GetHour0(t)+1)*3600;return true;}}
int GetHour0    (datetime &t){return((int)( t / 3600));}//current hour from 1 Jan 1971

Этот пример создает 2 виртуальные машины в которых идет разная торговля. По четным часам в одном тестере происходит покупка, в другом по нечетным часам продажа.

Сделан сложный пример с 2-мя тестерами, его можно упростить, если нужна работа с одним тестером.

Так же для контроля правильности расчетов можно выбрать тестер MQ и сравнить с результатами виртуальных тестеров. Может не совпадать только комиссия, т.к. разных комиссий придумано много, а в виртуальном тестере запрограммирован только один вариант.