Библиотеки: TickCompressor - со сжатием 1 тика до 2-3 байт в срднем

TickCompressor - со сжатием 1 тика до 2-3 байт в срднем:

Сжатие тиковых данных для хранения в компактном виде до 3,5 раз компактнее, чем .tcs файлы MQ. И для быстрой работы с ними, т.к. на чтение 3 байт тратится меньше времени, чем на 60 байт MqlTick структуры.

TickCompressor - со сжатием 1 тика до 2-3 байт в срднем

Автор: Forester

Библиотека обновлена. Изменился порядок чтения тиков в цикле. Размер следующего блока надо определять в цикле.

Дополнено описание.

Еще +10%.

//               T[tick].ask = ToPrice(this.ap); T[tick].bid = ToPrice(this.bp); T[tick].time_msc = this.tp; T[tick].time=(datetime)(this.tp / 1000);
//               tick++;
               this.SetTick(T[tick++]);
   void SetTick( MqlTick &Tick ) /*const*/ // const, если ToPrice сделать const.
   {
     Tick.ask = ToPrice(this.ap); Tick.bid = ToPrice(this.bp); Tick.time_msc = this.tp; Tick.time=(datetime)(this.tp / 1000); 
   }
fxsaber #:

Еще +10%.

Спасибо. Увеличило с

Decompress performance: 64.0 Ticks (millions)/sec.

до

Decompress performance: 68.0 Ticks (millions)/sec.

Код обновил.

В скрипте, в цикле распаковки, вместо

nextSize=Compressor3.ArrToInt2(Ticks2,ZIPpos);//размер следущего блока
ZIPpos+=4

можно использовать более короткий вариант

nextSize=Compressor3.ArrToInt(Ticks2,ZIPpos);//размер следущего блока, увеличит ZIPpos на 4

Но и старый вариант рабочий.

Обновил библиотеку:

  1. Удалил вариант сохранения Bid,Ask,Volume. Так как объемы могут быть только с Last тиками.
  2. Вместо него добавил новый, более компактный вариант с полным сохранением тиков. На моем примере размер файлов стал 248mb вместо 343mb в старом сжатии. 
    Добавлено сохранение данных, которые умещаются в 4 бита, 2 таких значения сохраняются в 1 байт.
    При этом размер файлов кастомного символа из которого создавался архив для математических вычислений составляет 247mb. Т.е. получено такое же, как у MT5 сжатие полных тиков в файлы.
  3. Немного ускорено чтение только AskBid тиков, за счет удаления промежуточных операций присваивания =, сразу происходит суммирование в нужную переменную +=.
  4. Для AskBid тиков убрал вариант сохранения в 3 байта, так как размер файлов больше, чем у оставшегося сохранения в 2 байта, а ускорения чтения нет.
Aleksei Kuznetsov #:

Обновил библиотеку

Супер-круто!


Можно по аналогии попробовать.

//                  switch((f/4)%4){//или (f>>2)&3, но медленнее на 1-2%
                  switch(f & 12){
                     case 0:{this.tp+=Arr4ToUchar(m,r); break;}
                     case 4:{this.tp+=ArrToUchar (m,r); break;}
                     case 8:{this.tp+=ArrToUshort(m,r); break;}
                     case 12:{this.tp+=ArrToLong  (m,r); break;}

Предполагаю, что Ваш побитовый вариант медленнее, потому что идет принудительный переход ushort->uint. А при делении и остатке перехода нет.

AskBid-вариант используется в 99% случаев. Наверное, имеется смысл сделать Light-вариант библиотеки, где выкинуть все проверки других вариантов, включая TickItems.
                  dt=f%3;     if(dt==0){this.tp+=ArrToUchar(m,r);}else{if(dt==1){this.tp+=ArrToUshort(m,r);}else{this.tp+=ArrToLong (m,r);}}

Такие конструкции должны быстрее работать через switch.


dt=ArrToUchar(m,r);

dt имеет смысл сделать uchar, сейчас long.

               else{// иначе это байт 229...255 с номером сжатия. + time, ask, bid 
                  f=255-(uchar)dt; // 0...26
                  static const uchar Array1[] = {0, 1, 2, 0, 1, 2, 0, 1, 2, 0, 1, 2, 0, 1, 2, 0, 1, 2, 0, 1, 2, 0, 1, 2, 0, 1, 2};
                  static const uchar Array3[] = {0, 0, 0, 1, 1, 1, 2, 2, 2, 0, 0, 0, 1, 1, 1, 2, 2, 2, 0, 0, 0, 1, 1, 1, 2, 2, 2};
                  static const uchar Array9[] = {0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2};
                  
dt = Array1[f]; /*dt=f%3;*/     if(dt==0){this.tp+=ArrToUchar(m,r);}else{if(dt==1){this.tp+=ArrToUshort(m,r);}else{this.tp+=ArrToLong (m,r);}}
dt = Array3[f]; /*dt=(f/3)%3;*/ if(dt==0){this.bp+=ArrToChar (m,r);}else{if(dt==1){this.bp+=ArrToShort(m,r); }else{this.bp+=ArrToLong (m,r);}}
dt = Array9[f]; /*dt=(f/9)%3;*/ if(dt==0){this.ap+=ArrToChar (m,r);}else{if(dt==1){this.ap+=ArrToShort(m,r); }else{this.ap+=ArrToLong (m,r);}}
               }
На самом деле можно избавиться от вычитания из 255. И обойтись одним switch на 27 значений.
fxsaber #:
обойтись одним switch на 27 значений.
  switch()
  {
    case  0: this.tp+=ArrToUchar (m,r); this.bp+=ArrToChar (m,r); this.ap+=ArrToChar (m,r); break;
    case  1: this.tp+=ArrToUshort(m,r); this.bp+=ArrToChar (m,r); this.ap+=ArrToChar (m,r); break;
    case  2: this.tp+=ArrToLong  (m,r); this.bp+=ArrToChar (m,r); this.ap+=ArrToChar (m,r); break;
    case  3: this.tp+=ArrToUchar (m,r); this.bp+=ArrToShort(m,r); this.ap+=ArrToChar (m,r); break;
    case  4: this.tp+=ArrToUshort(m,r); this.bp+=ArrToShort(m,r); this.ap+=ArrToChar (m,r); break;
    case  5: this.tp+=ArrToLong  (m,r); this.bp+=ArrToShort(m,r); this.ap+=ArrToChar (m,r); break;
    case  6: this.tp+=ArrToUchar (m,r); this.bp+=ArrToLong (m,r); this.ap+=ArrToChar (m,r); break;
    case  7: this.tp+=ArrToUshort(m,r); this.bp+=ArrToLong (m,r); this.ap+=ArrToChar (m,r); break;
    case  8: this.tp+=ArrToLong  (m,r); this.bp+=ArrToLong (m,r); this.ap+=ArrToChar (m,r); break;
    case  9: this.tp+=ArrToUchar (m,r); this.bp+=ArrToChar (m,r); this.ap+=ArrToShort(m,r); break;
    case 10: this.tp+=ArrToUshort(m,r); this.bp+=ArrToChar (m,r); this.ap+=ArrToShort(m,r); break;
    case 11: this.tp+=ArrToLong  (m,r); this.bp+=ArrToChar (m,r); this.ap+=ArrToShort(m,r); break;
    case 12: this.tp+=ArrToUchar (m,r); this.bp+=ArrToShort(m,r); this.ap+=ArrToShort(m,r); break;
    case 13: this.tp+=ArrToUshort(m,r); this.bp+=ArrToShort(m,r); this.ap+=ArrToShort(m,r); break;
    case 14: this.tp+=ArrToLong  (m,r); this.bp+=ArrToShort(m,r); this.ap+=ArrToShort(m,r); break;
    case 15: this.tp+=ArrToUchar (m,r); this.bp+=ArrToLong (m,r); this.ap+=ArrToShort(m,r); break;
    case 16: this.tp+=ArrToUshort(m,r); this.bp+=ArrToLong (m,r); this.ap+=ArrToShort(m,r); break;
    case 17: this.tp+=ArrToLong  (m,r); this.bp+=ArrToLong (m,r); this.ap+=ArrToShort(m,r); break;
    case 18: this.tp+=ArrToUchar (m,r); this.bp+=ArrToChar (m,r); this.ap+=ArrToLong (m,r); break;
    case 19: this.tp+=ArrToUshort(m,r); this.bp+=ArrToChar (m,r); this.ap+=ArrToLong (m,r); break;
    case 20: this.tp+=ArrToLong  (m,r); this.bp+=ArrToChar (m,r); this.ap+=ArrToLong (m,r); break;
    case 21: this.tp+=ArrToUchar (m,r); this.bp+=ArrToShort(m,r); this.ap+=ArrToLong (m,r); break;
    case 22: this.tp+=ArrToUshort(m,r); this.bp+=ArrToShort(m,r); this.ap+=ArrToLong (m,r); break;
    case 23: this.tp+=ArrToLong  (m,r); this.bp+=ArrToShort(m,r); this.ap+=ArrToLong (m,r); break;
    case 24: this.tp+=ArrToUchar (m,r); this.bp+=ArrToLong (m,r); this.ap+=ArrToLong (m,r); break;
    case 25: this.tp+=ArrToUshort(m,r); this.bp+=ArrToLong (m,r); this.ap+=ArrToLong (m,r); break;
    case 26: this.tp+=ArrToLong  (m,r); this.bp+=ArrToLong (m,r); this.ap+=ArrToLong (m,r); break;    
  }