TickCompressor - 可将 1 个 tick 压缩至平均 2-3 个字节 - MetaTrader 5程序库

压缩勾选数据，以紧凑的形式存储，比 .tcs MQ 文件紧凑 3.5 倍。同时，由于读取 3 个字节所需的时间比读取 60 个字节的 MqlTick 结构所需的时间短，因此可以快速处理这些数据。

从截图中可以看到 2023 的文件大小，包括 Ask、Bid、time 和额外 ZIP 压缩的数据块：

2023 年 .tcs 格式的文件大小：

压缩 3.56 倍。

为了存储刻度，使用了卖出价和买入价与前一价格的差值。通常（高达 50...70% 的所有点差）不会超过 (-8...7) 点，可以用 4 位记录。卖出价和买入价合并为 1 个字节。
外加 1 个字节，用于存储 0 至 255 毫秒的时间差（代码中最高为 229，高于 229 的值用于编码超过 -8...7 点的刻度）。

如果价格或时间相差较大，则会打包到更多字节中。

为了进一步压缩，可以使用 ZIP 压缩。数据大小最多可压缩 2 倍。

或者，也可以将数据压缩为 3 个字节，将 -129 至 128 之间的 Ask 和 Bid 压缩为 8 位或 1 个字节。再加上 1 个字节的时间--大多数时间点的总计为 3 个字节。
有时(https://www.mql5.com/ru/forum/499639/page6#comment_58544810)，如果压缩为 2 字节的刻度比压缩为 4 字节的刻度多，则压缩为 3 字节更有效。您必须查看仪器的统计数据。
您可以使用命令将最大压缩量切换为 3 字节：

#define  compressTo3Bytes // 将刻度压缩为 3 字节而不是 2 字节。

以压缩形式存储的刻度元素

用于存储的勾选元素有 3 种：

1. Ask, Bid, time_msc
2. Ask, Bid, time_msc, volume_real
3. 所有元素 Ask、Bid、Last、time_msc、volume_real、flags（int volume 根据 volume_real 计算）。

它们还可以另外压缩成 ZIP 格式。总共有 6 个变量

method=1;//1...6 BidAsk_=1, BidAskVolume_=2, All_=3, BidAsk_Zipped=4, BidAskVolume_Zipped=5, All_Zipped=6

在开始压缩之前，您需要将刻度存储的变量以及一些用于计算和价格正常化的标准参数传递给类。

    TickCompressor Compressor2;
    double VolumeStep_=SymbolInfoDouble(Symbol(), SYMBOL_VOLUME_STEP);
    Compressor2.Start(method,_Point,VolumeStep_,_Digits);

如果 "智能交易系统 "使用了标志，可以通过命令 "恢复 "价格变化。

#define  RestoreFlags // 从改变要价、出价和成交量中恢复刻度标记 - 将使刻度生成时间从 869ms 增加 7% 至 931ms

压缩测试的智能交易系统已附上，它将提供有关速度和压缩率的统计数据。您可以看到压缩和解压缩刻度线的示例。

交易专家顾问的示例可在此处查看https://www.mql5.com/zh/code/65821。

2 字节和 3 字节压缩统计：

代码示例

刻度压缩

逐块压缩：

    int ZIPpos=0;//压缩字节计数器
    if(Amount>ticks_per_block){// > 1 个区块 - 从 tmp 到 Ticks2 的粘合区块
       for(int start=0; start<Amount; start+=ticks_per_block){
          Compressor2.Compress(Ticks, tmp, start, (Amount > start + ticks_per_block ? ticks_per_block : Amount - start));
          ZIPpos+=ArrayCopy(Ticks2,tmp,ZIPpos); //复制到 Ticks2 的末尾
       }
    }else{//1 块 - 直接解包为 Ticks2
       Compressor2.Compress(Ticks, Ticks2, 0, Amount);
    } 

如果设置 1 个块中的刻度数大于数组中的刻度总数，则会压缩为 1 个块。

如果总是需要压缩成 1 个块，可以使用

Compressor2.Compress(Ticks,Ticks2); 

但这样一个大块或超大块的解压缩速度可能会慢 2 倍。此外，大数据块还会消耗大量内存。

解压缩

解压缩时，最好能知道打包的刻度数。接收器数组必须有这样的大小。

ArrayResize(Ticks3,Amount);

例如，可以将大小保存在文件中。然后在解包时使用。

如果大小未知，可以在循环中根据块中的刻度数改变大小。

       //减慢速度 
ArrayResize(Ticks3,total_ticks+ticks_per_block,10000000); //调整大数组的大小--比覆盖小块的速度慢

这段代码逐块获取刻度。如果只有一个大块，它也能正确计算。刻度点不会被收集到一个大数组中，而是可以立即被你的 Strategy(Ticks3[j]) 策略处理；

    while (ZIPpos<ArraySize(Ticks2)){
       nextSize=Compressor3.ArrToInt(Ticks2,ZIPpos);//调整下一个区块的大小，将 ZIPpos 增加 4

       uint s = ArrayCopy(tmp,Ticks2,0,ZIPpos,nextSize); // 将新区块复制到 tmp，大小为 nextSize
       //slower by the factor of 3 ArrayResize(Ticks3,total_ticks+ticks_per_block,10000000); //resize a large array - works slower than overwriting a small block
       //total_ticks=Compressor3.DeCompress(tmp,Ticks3,nextSize,total_ticks);//unpack the block and add it to Ticks3.
       
       total_ticks+=Compressor3.DeCompress(tmp,Ticks3,nextSize,0); // 取消打包该代码块，并在 Ticks3 中覆盖它
       ZIPpos+=nextSize;
       for (int j = 0; j < ticks; j++){ Strategy(Ticks3[j]);}//战略
    };

将所有区块中的点数收集到一个大数组中：

    while (ZIPpos<ArraySize(Ticks2)){
       nextSize=Compressor3.ArrToInt(Ticks2,ZIPpos);//调整下一个区块的大小，将 ZIPpos 增加 4

       uint s = ArrayCopy(tmp,Ticks2,0,ZIPpos,nextSize); // 将新区块复制到 tmp，大小为 nextSize
       //slower ArrayResize(Ticks3,total_ticks+ticks_per_block,10000000); //resize a large array - works slower than overwriting a small block
       total_ticks=Compressor3.DeCompress(tmp,Ticks3,nextSize,total_ticks);//解包区块并将其添加到 Ticks3 中
       
       //total_ticks+=Compressor3.DeCompress(tmp,Ticks3,nextSize,0); //unpack the block and overwrite it in Ticks3
       ZIPpos+=nextSize;
       //for (int j = 0; j < ticks; j++){ Strategy(Ticks3[j]);}//strategy
    };

或单行。只记录 1 个区块。如果更多，则使用上述 2 种代码变体。

total_ticks=Compressor3.DeCompress(Ticks2,Ticks3);