Библиотеки: TickCompressor - со сжатием 1 тика до 2-3 байт в срднем
Библиотека обновлена. Изменился порядок чтения тиков в цикле. Размер следующего блока надо определять в цикле.
Дополнено описание.
Еще +10%.
// T[tick].ask = ToPrice(this.ap); T[tick].bid = ToPrice(this.bp); T[tick].time_msc = this.tp; T[tick].time=(datetime)(this.tp / 1000); // tick++; this.SetTick(T[tick++]);
void SetTick( MqlTick &Tick ) /*const*/ // const, если ToPrice сделать const. { Tick.ask = ToPrice(this.ap); Tick.bid = ToPrice(this.bp); Tick.time_msc = this.tp; Tick.time=(datetime)(this.tp / 1000); }
Спасибо. Увеличило с
Decompress performance: 64.0 Ticks (millions)/sec.
до
Decompress performance: 68.0 Ticks (millions)/sec.
Код обновил.
В скрипте, в цикле распаковки, вместо
nextSize=Compressor3.ArrToInt2(Ticks2,ZIPpos);//размер следущего блока ZIPpos+=4
можно использовать более короткий вариант
nextSize=Compressor3.ArrToInt(Ticks2,ZIPpos);//размер следущего блока, увеличит ZIPpos на 4 Но и старый вариант рабочий.
Форум по трейдингу, автоматическим торговым системам и тестированию торговых стратегий
Новая версия платформы MetaTrader 5 build 6230: больше возможностей AI
fxsaber, 2026.10.21 14:19
В Документации, конечно, полное несоответствие.
Идут подряд полностью идентичные тики, вплоть до флагов.Обновил библиотеку:
- Удалил вариант сохранения Bid,Ask,Volume. Так как объемы могут быть только с Last тиками.
- Вместо него добавил новый, более компактный вариант с полным сохранением тиков. На моем примере размер файлов стал 248mb вместо 343mb в старом сжатии.
Добавлено сохранение данных, которые умещаются в 4 бита, 2 таких значения сохраняются в 1 байт.
При этом размер файлов кастомного символа из которого создавался архив для математических вычислений составляет 247mb. Т.е. получено такое же, как у MT5 сжатие полных тиков в файлы. - Немного ускорено чтение только AskBid тиков, за счет удаления промежуточных операций присваивания =, сразу происходит суммирование в нужную переменную +=.
- Для AskBid тиков убрал вариант сохранения в 3 байта, так как размер файлов больше, чем у оставшегося сохранения в 2 байта, а ускорения чтения нет.
Супер-круто!
Можно по аналогии попробовать.
// switch((f/4)%4){//или (f>>2)&3, но медленнее на 1-2% switch(f & 12){ case 0:{this.tp+=Arr4ToUchar(m,r); break;} case 4:{this.tp+=ArrToUchar (m,r); break;} case 8:{this.tp+=ArrToUshort(m,r); break;} case 12:{this.tp+=ArrToLong (m,r); break;}
Предполагаю, что Ваш побитовый вариант медленнее, потому что идет принудительный переход ushort->uint. А при делении и остатке перехода нет.
dt=f%3; if(dt==0){this.tp+=ArrToUchar(m,r);}else{if(dt==1){this.tp+=ArrToUshort(m,r);}else{this.tp+=ArrToLong (m,r);}}
Такие конструкции должны быстрее работать через switch.
dt=ArrToUchar(m,r);
dt имеет смысл сделать uchar, сейчас long.
else{// иначе это байт 229...255 с номером сжатия. + time, ask, bid f=255-(uchar)dt; // 0...26 static const uchar Array1[] = {0, 1, 2, 0, 1, 2, 0, 1, 2, 0, 1, 2, 0, 1, 2, 0, 1, 2, 0, 1, 2, 0, 1, 2, 0, 1, 2}; static const uchar Array3[] = {0, 0, 0, 1, 1, 1, 2, 2, 2, 0, 0, 0, 1, 1, 1, 2, 2, 2, 0, 0, 0, 1, 1, 1, 2, 2, 2}; static const uchar Array9[] = {0, 0, 0, 0, 0, 0, 0, 0, 0, 1, 1, 1, 1, 1, 1, 1, 1, 1, 2, 2, 2, 2, 2, 2, 2, 2, 2}; dt = Array1[f]; /*dt=f%3;*/ if(dt==0){this.tp+=ArrToUchar(m,r);}else{if(dt==1){this.tp+=ArrToUshort(m,r);}else{this.tp+=ArrToLong (m,r);}} dt = Array3[f]; /*dt=(f/3)%3;*/ if(dt==0){this.bp+=ArrToChar (m,r);}else{if(dt==1){this.bp+=ArrToShort(m,r); }else{this.bp+=ArrToLong (m,r);}} dt = Array9[f]; /*dt=(f/9)%3;*/ if(dt==0){this.ap+=ArrToChar (m,r);}else{if(dt==1){this.ap+=ArrToShort(m,r); }else{this.ap+=ArrToLong (m,r);}} }На самом деле можно избавиться от вычитания из 255. И обойтись одним switch на 27 значений.
обойтись одним switch на 27 значений.
switch() { case 0: this.tp+=ArrToUchar (m,r); this.bp+=ArrToChar (m,r); this.ap+=ArrToChar (m,r); break; case 1: this.tp+=ArrToUshort(m,r); this.bp+=ArrToChar (m,r); this.ap+=ArrToChar (m,r); break; case 2: this.tp+=ArrToLong (m,r); this.bp+=ArrToChar (m,r); this.ap+=ArrToChar (m,r); break; case 3: this.tp+=ArrToUchar (m,r); this.bp+=ArrToShort(m,r); this.ap+=ArrToChar (m,r); break; case 4: this.tp+=ArrToUshort(m,r); this.bp+=ArrToShort(m,r); this.ap+=ArrToChar (m,r); break; case 5: this.tp+=ArrToLong (m,r); this.bp+=ArrToShort(m,r); this.ap+=ArrToChar (m,r); break; case 6: this.tp+=ArrToUchar (m,r); this.bp+=ArrToLong (m,r); this.ap+=ArrToChar (m,r); break; case 7: this.tp+=ArrToUshort(m,r); this.bp+=ArrToLong (m,r); this.ap+=ArrToChar (m,r); break; case 8: this.tp+=ArrToLong (m,r); this.bp+=ArrToLong (m,r); this.ap+=ArrToChar (m,r); break; case 9: this.tp+=ArrToUchar (m,r); this.bp+=ArrToChar (m,r); this.ap+=ArrToShort(m,r); break; case 10: this.tp+=ArrToUshort(m,r); this.bp+=ArrToChar (m,r); this.ap+=ArrToShort(m,r); break; case 11: this.tp+=ArrToLong (m,r); this.bp+=ArrToChar (m,r); this.ap+=ArrToShort(m,r); break; case 12: this.tp+=ArrToUchar (m,r); this.bp+=ArrToShort(m,r); this.ap+=ArrToShort(m,r); break; case 13: this.tp+=ArrToUshort(m,r); this.bp+=ArrToShort(m,r); this.ap+=ArrToShort(m,r); break; case 14: this.tp+=ArrToLong (m,r); this.bp+=ArrToShort(m,r); this.ap+=ArrToShort(m,r); break; case 15: this.tp+=ArrToUchar (m,r); this.bp+=ArrToLong (m,r); this.ap+=ArrToShort(m,r); break; case 16: this.tp+=ArrToUshort(m,r); this.bp+=ArrToLong (m,r); this.ap+=ArrToShort(m,r); break; case 17: this.tp+=ArrToLong (m,r); this.bp+=ArrToLong (m,r); this.ap+=ArrToShort(m,r); break; case 18: this.tp+=ArrToUchar (m,r); this.bp+=ArrToChar (m,r); this.ap+=ArrToLong (m,r); break; case 19: this.tp+=ArrToUshort(m,r); this.bp+=ArrToChar (m,r); this.ap+=ArrToLong (m,r); break; case 20: this.tp+=ArrToLong (m,r); this.bp+=ArrToChar (m,r); this.ap+=ArrToLong (m,r); break; case 21: this.tp+=ArrToUchar (m,r); this.bp+=ArrToShort(m,r); this.ap+=ArrToLong (m,r); break; case 22: this.tp+=ArrToUshort(m,r); this.bp+=ArrToShort(m,r); this.ap+=ArrToLong (m,r); break; case 23: this.tp+=ArrToLong (m,r); this.bp+=ArrToShort(m,r); this.ap+=ArrToLong (m,r); break; case 24: this.tp+=ArrToUchar (m,r); this.bp+=ArrToLong (m,r); this.ap+=ArrToLong (m,r); break; case 25: this.tp+=ArrToUshort(m,r); this.bp+=ArrToLong (m,r); this.ap+=ArrToLong (m,r); break; case 26: this.tp+=ArrToLong (m,r); this.bp+=ArrToLong (m,r); this.ap+=ArrToLong (m,r); break; }
TickCompressor - со сжатием 1 тика до 2-3 байт в срднем:
Сжатие тиковых данных для хранения в компактном виде до 3,5 раз компактнее, чем .tcs файлы MQ. И для быстрой работы с ними, т.к. на чтение 3 байт тратится меньше времени, чем на 60 байт MqlTick структуры.
Автор: Forester