В CopyTicks обнаружены баги, приводящие к пропуску тиков и расхождениям в истории

fxsaber 2016.09.27 19:00 #171

fxsaber:
Если нужна ТОЛЬКО лента (COPY_TICKS_TRADE - time_msc, last, volume и flags), то данное решение полностью подходит - баги не выявлены.

Нихрена не подходит! Очередной баг выявился

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

Загадочный биржевой индикатор

fxsaber, 2016.09.27 18:32

Все тормоза, похоже, когда в CopyTicks входной from не нулевой.

Похоже, очень кривая реализация CopyTicks в таком режиме, даже если запрашиваются тики со времени последнего вызова. Казалось бы, должно летать, ан нет.

Загадочный биржевой индикатор Ошибки, баги, вопросы Библиотеки: Price_Compare

Renat Fatkhullin 2016.09.28 01:27 #172

Подождите беты на этой неделе, где мы ряд улучшений в тиках и обновлениях стакана сделали.

fxsaber 2016.09.28 13:26 #173

Renat Fatkhullin:
Подождите беты на этой неделе, где мы ряд улучшений в тиках и обновлениях стакана сделали.

1432 - много багов решено. Спасибо!

fxsaber 2016.09.29 09:39 #174

fxsaber:
1432 - много багов решено. Спасибо!

Но не все.

Если дописываемую историю сравнивать с фактической, то есть расхождения в режиме COPY_TICKS_ALL (TRADE и INFO - нет проблем). Советник

#include <TypeToBytes.mqh> // https://www.mql5.com/ru/code/16280

string GetTickFlag( uint tickflag )
{
  string flag = "";

#define TICKFLAG_MACRO(A) flag += ((bool)(tickflag & TICK_FLAG_##A)) ? " TICK_FLAG_" + #A : "";
  TICKFLAG_MACRO(BID)
  TICKFLAG_MACRO(ASK)
  TICKFLAG_MACRO(LAST)
  TICKFLAG_MACRO(VOLUME)
  TICKFLAG_MACRO(BUY)
  TICKFLAG_MACRO(SELL)
#undef TICKFLAG_MACRO

  if (flag == "")
    flag = " FLAG_UNKNOWN (" + (string)tickflag + ")";
     
  return(flag);
}

#define TOSTRING(A) " " + #A + " = " + (string)Tick.A

string TickToString( const MqlTick &Tick )
{
  return(TOSTRING(time) + "." + (string)IntegerToString(Tick.time_msc %1000, 3, '0') +
         TOSTRING(bid) + TOSTRING(ask) + TOSTRING(last)+ TOSTRING(volume) + GetTickFlag(Tick.flags));
}

// Дописывает свежие тики после предыдущего запуска
int AddFreshTicks( MqlTick &Ticks[], const string Symb = NULL, const uint flags = COPY_TICKS_ALL )
{
  int Res = 0;
  const int Amount = ArraySize(Ticks);
  
  MqlTick NewTicks[];  
  const int NewAmount = (Amount == 0) ? CopyTicks((Symb == NULL)? Symbol() : Symb, NewTicks, flags, (ulong)(TimeCurrent() - 100) * 1000) :
                                        CopyTicks((Symb == NULL)? Symbol() : Symb, NewTicks, flags, Ticks[Amount - 1].time_msc);
  
  if (NewAmount > 0)
  {
    if (Amount > 0)
    {
      // Взяли крайнее время из предыдущей истории
      const long LastTime = Ticks[Amount - 1].time_msc;
      
      int Count = 1;
      
      // Находим (Count) в предыдушей истории количество тиков со временем LastTime
      for (int i = Amount - 2; i >= 0; i--)
      {
        if (Ticks[i].time_msc < LastTime)
          break;
          
        Count++;
      }

      if ((Count < Amount) && (Count < NewAmount))      
        Res = ArrayCopy(Ticks, NewTicks, Amount, Count);
    }
    else
      Res = ArrayCopy(Ticks, NewTicks);
  }
  
  return(Res);
}

#define TOSTRING2(A) #A + " = " + (string)(A) + " "

template <typename T>
bool ArrayEqual( const T &Array1[], const T &Array2[] )
{
  const int Amount = MathMin(ArraySize(Array1), ArraySize(Array2));
  bool Res = (Amount > 0);

  if (Res)
    for (int i = 0; i < Amount; i++)
      if (_R(Array1[i]) != Array2[i]) // https://www.mql5.com/ru/code/16280
      {
        Print(TOSTRING2(i) + TOSTRING2(ArraySize(Array1)) +TOSTRING2(ArraySize(Array2)));
        Print(TOSTRING2(TickToString(Array1[i])) + "\n" + TOSTRING2(TickToString(Array2[i])) + "\n");
        
        Res = false;

        break;
      }

  return(Res);
}

void OnTick( void )
{
 static MqlTick PrevTicks[];
  
  // Дописываем свежие тики после предыдущего вызова
  AddFreshTicks(PrevTicks, _Symbol, COPY_TICKS_ALL);
  
  MqlTick Ticks[];
  
  if (ArraySize(PrevTicks) > 0)
  {
    // Взяли историю тиков
    Print(CopyTicks(_Symbol, Ticks, COPY_TICKS_ALL, PrevTicks[0].time_msc, 100000));
    
    // Проверка на совпадение собираемой истории с самой историей
    Print(ArrayEqual(Ticks, PrevTicks) ? "Equal" : "Not Equal");
  }
}

Результат

2016.09.29 10:36:23.722 Test10 (Si-12.16,M1)    Not Equal
2016.09.29 10:36:23.722 Test10 (Si-12.16,M1)    
2016.09.29 10:36:23.722 Test10 (Si-12.16,M1)    TickToString(Array2[i]) =  time = 2016.09.29 10:36:20.547 bid = 64353.0 ask = 64354.0 last = 64353.0 volume = 4 TICK_FLAG_BID 
2016.09.29 10:36:23.722 Test10 (Si-12.16,M1)    TickToString(Array1[i]) =  time = 2016.09.29 10:36:20.546 bid = 64353.0 ask = 64354.0 last = 64353.0 volume = 1 TICK_FLAG_LAST TICK_FLAG_VOLUME TICK_FLAG_SELL 
2016.09.29 10:36:23.722 Test10 (Si-12.16,M1)    i = 57 ArraySize(Array1) = 59 ArraySize(Array2) = 58 
2016.09.29 10:36:23.722 Test10 (Si-12.16,M1)    59

fxsaber 2016.09.29 10:15 #175

fxsaber:

Но не все.

Если дописываемую историю сравнивать с фактической, то есть расхождения в режиме COPY_TICKS_ALL (TRADE и INFO - нет проблем). Советник

Результат

Сильно залогировал код выше и выяснил причины. Если CopyTicks (from > 0) получает тики до самого свежего, то он может пропускать некоторые.

Пример.

Запросил тики с from = 2016.09.29 11:05:55.564. Получил в ответ три тика

2016.09.29 11:05:58.724 Test10 (Si-12.16,M1)    2:  time = 2016.09.29 11:05:55.580 bid = 64380.0 ask = 64382.0 last = 64381.0 volume = 4 TICK_FLAG_BID TICK_FLAG_ASK
2016.09.29 11:05:58.724 Test10 (Si-12.16,M1)    1:  time = 2016.09.29 11:05:55.576 bid = 64379.0 ask = 64381.0 last = 64381.0 volume = 4 TICK_FLAG_LAST TICK_FLAG_VOLUME TICK_FLAG_BUY
2016.09.29 11:05:58.724 Test10 (Si-12.16,M1)    0:  time = 2016.09.29 11:05:55.564 bid = 64379.0 ask = 64381.0 last = 64380.0 volume = 1 TICK_FLAG_BID TICK_FLAG_ASK

Спустя какое-то время запрашиваю тиковую историю издалека и вижу тик, который CopyTicks пропустил ранее

2016.09.29 11:05:58.732 Test10 (Si-12.16,M1)    time = 2016.09.29 11:05:55.579 bid = 64380.0 ask = 64382.0 last = 64381.0 volume = 16 TICK_FLAG_LAST TICK_FLAG_VOLUME TICK_FLAG_BUY

Вот такой баг!

Похоже, какой-то конфликт параллельной записи в базу тиков и считывания из нее.

Особенности языка mql5, тонкости Пользовательские символы. Ошибки, баги, Синхронизация локального времени Windows

fxsaber 2016.09.30 15:10 #176

Еще один баг, теперь уже во всех режимах COPY_TICKS_*

Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий

Загадочный биржевой индикатор

fxsaber, 2016.09.30 15:09

Получилось локализовать один из багов, вызывающий расхождения в индикаторе. Дело снова в CopyTicks.

Оказывается, если собирать тиковую историю по частям, то она может не совпадать с реальной историей. Советник это показывает

#include <TypeToBytes.mqh> // https://www.mql5.com/ru/code/16280

long LastTime = 0; // time_msc-время последнего тика (самого свежего), полученного из истории
int Count = 0;     // Количество тиков в последенем запросе, у которых time_msc == LastTime

// Возвращает следующие тики (после предыдущего вызова)
int GetFreshTicks( MqlTick &Ticks[], const uint flags = COPY_TICKS_TRADE, const uint count = 100000 )
{
  int Res = 0;

  MqlTick NewTicks[];
  const int NewAmount = CopyTicks(Symbol(), NewTicks, flags, LastTime, count);

  if ((NewAmount > 0) && (Count < NewAmount))
  {
    Res = ArrayCopy(Ticks, NewTicks, 0, Count);

    // Взяли крайнее время из текущей истории
    LastTime = Ticks[Res - 1].time_msc;
    Count = 1;

    // Находим (Count) в текущей истории количество тиков со временем LastTime
    for (int i = Res - 2; i >= 0; i--)
    {
      if (Ticks[i].time_msc < LastTime)
        break;

      Count++;
    }
  }
  
  return(ArrayResize(Ticks, Res));
}

// Сравнение двух массивов
template <typename T>
bool ArrayEqual( const T &Array1[], const T &Array2[] )
{
  const int Amount = MathMin(ArraySize(Array1), ArraySize(Array2));
  bool Res = (Amount > 0);

  if (Res)
    for (int i = 0; i < Amount; i++)
      if (_R(Array1[i]) != Array2[i]) // https://www.mql5.com/ru/code/16280
      {
        Res = false;
        
        ExpertRemove();

        break;
      }

  return(Res);
}

void OnTick()
{
  // возьмем тики с начала утренней сессии
  Count = 0;
  LastTime = (TimeCurrent() - (TimeCurrent() % (24 * 3600))) * 1000;
  
  MqlTick Ticks[];    // История, собранная по частям
  MqlTick NewTicks[]; // массив для следующей части тиков
  
  // Собираем историю по частям  
  while (GetFreshTicks(NewTicks, COPY_TICKS_TRADE, 100000) > 0)
    ArrayCopy(Ticks, NewTicks, ArraySize(Ticks));
    
  if (ArraySize(Ticks) > 0)    
  {
    // Взяли ВСЮ историю тиков
    Print(CopyTicks(_Symbol, NewTicks, COPY_TICKS_TRADE, Ticks[0].time_msc, 10000000)); // 10000000 - большое число, чтобы все выкачать.
    
    // Проверка на совпадение собранной по частям истории с самой историей
    Print(ArrayEqual(NewTicks, Ticks) ? "Equal" : "Not Equal");
  }    
}

Результат

2016.09.30 16:02:54.661 Test (Si-12.16,M1)      Not Equal
2016.09.30 16:02:54.661 Test (Si-12.16,M1)      ExpertRemove() function called
2016.09.30 16:02:54.621 Test (Si-12.16,M1)      333740
2016.09.30 16:02:54.121 Test (Si-12.16,M1)      Equal
2016.09.30 16:02:54.071 Test (Si-12.16,M1)      333736
2016.09.30 16:02:53.791 Test (Si-12.16,M1)      Equal
2016.09.30 16:02:53.741 Test (Si-12.16,M1)      333723

Этот советник еще показывает слабенький баг. Выяснил, что в собранной по частям истории могут отсутствовать куски, длительностью в несколько минут. Только лаконичное и понятное воспроизведение в виде кода не придумал. А выкладывать сложное - нет смысла, т.к. никто даже смотреть не будет.

В общем, никак не победить баги CopyTicks. И заметьте, советник работает в режиме ленты (COPY_TICKS_TRADE). Т.е. даже с лентой не получается работать.

Загадочный биржевой индикатор Позволяет ли mql5 написать Библиотеки: Virtual

[Удален] 2016.09.30 16:46 #177

fxsaber:
Еще один баг, теперь уже во всех режимах COPY_TICKS_*

А Вы пробовали тики получать и начиная с определенного момента, и определенное, например, фиксированное количество?

По коду похоже, что определенное количество (100000) с последнего момента. А если просто N тиков получить. Тоже пропуски будут?

Сразу скажу, сам, пока, не сильно экспериментировал с тиками...

терминал без таймфреймов по Вопросы от начинающих MQL5 Загадочный биржевой индикатор

fxsaber 2016.09.30 16:58 #178

Alexey Kozitsyn:

А Вы пробовали тики получать и начиная с определенного момента, и определенное, например, фиксированное количество?

По коду похоже, что определенное количество (100000) с последнего момента. А если просто N тиков получить. Тоже пропуски будут?

Сразу скажу, сам, пока, не сильно экспериментировал с тиками...

Пробовал.

Сегодня обещают новый билд на демо. Поэтому пока ждемс.

[Удален] 2016.09.30 17:10 #179

fxsaber:

Пробовал.

Сегодня обещают новый билд на демо. Поэтому пока ждемс.

Надеюсь, CopyTicks() поправят.

Кстати, еще с момента появления CopyTicks() просил разработчиков, чтобы добавили перегрузу функции, как у других Copy...() функций. Сказали - добавят. И... тишина...

fxsaber 2016.09.30 18:08 #180

Alexey Kozitsyn:

Кстати, еще с момента появления CopyTicks() просил разработчиков, чтобы добавили перегрузу функции, как у других Copy...() функций. Сказали - добавят. И... тишина...

Вы можете сами добавить любые перегрузки.

Тестируем 'CopyTicks' - страница 18