TickCompressor - 1 tikin ortalama 2-3 bayta sıkıştırılması ile - MetaTrader 5 için kütüphane

.tcs MQ dosyalarından 3,5 kata kadar daha kompakt bir biçimde depolamak için tik verilerinin sıkıştırılması. Ve onlarla hızlı çalışmak için, 3 baytı okumak 60 baytlık MqlTick yapısından daha az zaman alır.

Veri bloklarının ek ZIP sıkıştırması ile Ask, Bid, time ile 2023 için dosya boyutu ekran görüntüsünde görülebilir:

2023 için .tcs formatında dosya boyutu:

3,56 kat sıkıştırma.

Tikleri saklamak için, Alış ve Satış fiyatlarının bir önceki fiyattan farkları kullanılır. Genellikle (tüm tiklerin %50...70'ine kadar) (-8...7) puanı geçmez ve 4 bit ile kaydedilebilir. Alış ve Satış 1 baytta birleştirilir.
Artı 0 ila 255 milisaniye arasındaki zaman farkını saklamak için 1 bayt (229'a kadar olan kodda, 229'un üzerindeki değerler -8...7 puanın ötesindeki tikleri kodlamak için kullanılır).

Fiyatlar veya zamanlar daha büyük değerlerle farklılık gösteriyorsa, daha fazla sayıda bayta paketlenirler.

Ek sıkıştırma için ZIP arşivleme uygulayabilirsiniz. Verilerin boyutu 2 kata kadar azaltılır.

Alternatif olarak, -129 ila 128 arasındaki Satış ve Teklif 8 bit veya her biri 1 bayta sıkıştırılarak 3 bayta sıkıştırma yapılabilir. Artı zaman için 1 bayt - çoğu tik için toplam 3 bayt.
Bazen(https://www.mql5.com/ru/forum/499639/page6#comment_58544810), 2 bayta sıkıştırılmış tik sayısı 4 bayta sıkıştırılmış tik sayısından fazlaysa, 3 bayta sıkıştırmak daha verimli olur. Enstrüman istatistiklerine bakmanız gerekir.
Komutu ile maksimum sıkıştırmayı 3 bayt olarak değiştirebilirsiniz:

#define  compressTo3Bytes // tikleri 2 yerine 3 bayta sıkıştırın.

Sıkıştırılmış biçimde depolanacak tik öğeleri

Depolama için 3 çeşit tik elemanı programlanmıştır:

1. Satış, Teklif, time_msc
2. Satış, Teklif, time_msc, volume_real
3. Tüm öğeler Ask, Bid, Last, time_msc, volume_real, flags (int volume volume_real'den hesaplanır).

Ayrıca ZIP olarak da sıkıştırılabilirler. Toplamda 6 varyant olacaktır

method=1;//1...6 BidAsk_=1, BidAskVolume_=2, All_=3, BidAsk_Zipped=4, BidAskVolume_Zipped=5, All_Zipped=6

Sıkıştırmaya başlamadan önce, kene depolama varyantını ve hesaplamalar ve fiyatların normalleştirilmesi için kullanılan bazı standart parametreleri sınıfa aktarmanız gerekir.

    TickCompressor Compressor2;
    double VolumeStep_=SymbolInfoDouble(Symbol(), SYMBOL_VOLUME_STEP);
    Compressor2.Start(method,_Point,VolumeStep_,_Digits);

Uzman Danışman bayrak kullanıyorsa, bunlar fiyat değişikliklerinden şu komutla geri yüklenebilir

#define  RestoreFlags // change ask, bid, volume'den tick bayraklarını geri yükle - tick oluşturma süresine 869ms yerine 931% ekleyecektir

Sıkıştırma testi için Uzman Danışman eklenmiştir, hız ve sıkıştırma oranı hakkında istatistikler verecektir. İçinde kenelerin sıkıştırma ve açma örneğini görebilirsiniz.

Ticaret için Uzman Danışman örneği buradan görüntülenebilir https://www.mql5.com/tr/code/65821.

2 ve 3 bayt sıkıştırma için istatistikler:

Kod örnekleri

Kene sıkıştırma

Blok blok:

    int ZIPpos=0;//sıkıştırılmış bayt sayacı
    if(Amount>ticks_per_block){// > 1 blok - blokları tmp'den Ticks2'ye yapıştırma
       for(int start=0; start<Amount; start+=ticks_per_block){
          Compressor2.Compress(Ticks, tmp, start, (Amount > start + ticks_per_block ? ticks_per_block : Amount - start));
          ZIPpos+=ArrayCopy(Ticks2,tmp,ZIPpos); //copy to end of Ticks2
       }
    }else{//1 blok - doğrudan Ticks2'ye açma
       Compressor2.Compress(Ticks, Ticks2, 0, Amount);
    } 

Eğer 1 bloktaki tik sayısını dizideki toplam tik sayısından büyük olarak ayarlarsanız, 1 bloğa sıkıştırılacaktır.

Eğer her zaman 1 bloğa sıkıştırmaya ihtiyacınız varsa

Compressor2.Compress(Ticks,Ticks2); 

Ancak bu kadar büyük veya çok büyük bir bloğun dekompresyon hızı 2 kat daha yavaş olabilir. Ayrıca büyük bir blok için büyük bir bellek tüketimi olacaktır.

Tiklerin paketten çıkarılması

Paketi açarken, paketlenmiş tik sayısının bilinmesi arzu edilir. Alıcı dizisi bu boyuta sahip olmalıdır.

ArrayResize(Ticks3,Amount);

Boyut, örneğin bir dosyaya kaydedilebilir. Ve sonra paketten çıkarırken kullanın.

Boyut bilinmiyorsa, döngü içindeki boyutu bloktaki tik sayısına göre değiştirebilirsiniz

       //yavaşla 
ArrayResize(Ticks3,total_ticks+ticks_per_block,10000000); //büyük bir diziyi yeniden boyutlandırma - küçük bir bloğun üzerine yazmaktan daha yavaş çalışır

Bu kod blok blok tik alır. Yalnızca 1 büyük blok varsa, onu da doğru şekilde sayar. Keneler büyük bir dizide toplanmaz, ancak Strategy(Ticks3[j]) stratejiniz tarafından hemen işlenebilir;

    while (ZIPpos<ArraySize(Ticks2)){
       nextSize=Compressor3.ArrToInt(Ticks2,ZIPpos);//sonraki bloğu boyutlandırın, ZIPpos'u 4 artırın

       uint s = ArrayCopy(tmp,Ticks2,0,ZIPpos,nextSize); // yeni bloğu nextSize boyutuyla tmp'ye kopyala
       //3 kat daha yavaş ArrayResize(Ticks3,total_ticks+ticks_per_block,10000000); //büyük bir diziyi yeniden boyutlandırır - küçük bir bloğun üzerine yazmaktan daha yavaş çalışır
       //total_ticks=Compressor3.DeCompress(tmp,Ticks3,nextSize,total_ticks);//bloku paketinden çıkarın ve Ticks3'e ekleyin.
       
       total_ticks+=Compressor3.DeCompress(tmp,Ticks3,nextSize,0); //bloku paketinden çıkarın ve Ticks3'te üzerine yazın
       ZIPpos+=nextSize;
       for (int j = 0; j < ticks; j++){ Strategy(Ticks3[j]);}//strateji
    };

Tüm bloklardan gelen tikleri tek bir büyük dizide toplar:

    while (ZIPpos<ArraySize(Ticks2)){
       nextSize=Compressor3.ArrToInt(Ticks2,ZIPpos);//sonraki bloğu boyutlandırın, ZIPpos'u 4 artırın

       uint s = ArrayCopy(tmp,Ticks2,0,ZIPpos,nextSize); // yeni bloğu nextSize boyutuyla tmp'ye kopyala
       //daha yavaş ArrayResize(Ticks3,total_ticks+ticks_per_block,10000000); //büyük bir diziyi yeniden boyutlandırır - küçük bir bloğun üzerine yazmaktan daha yavaş çalışır
       total_ticks=Compressor3.DeCompress(tmp,Ticks3,nextSize,total_ticks);//bloku paketinden çıkarın ve Ticks3'e ekleyin
       
       //total_ticks+=Compressor3.DeCompress(tmp,Ticks3,nextSize,0); //bloku paketinden çıkarın ve Ticks3'ün üzerine yazın
       ZIPpos+=nextSize;
       //for (int j = 0; j < ticks; j++){ Strateji(Ticks3[j]);}//strateji
    };

Veya bir satır. Yalnızca 1 blok kaydedilmelidir. Daha fazla ise - yukarıdaki 2 kod varyantını kullanın.

total_ticks=Compressor3.DeCompress(Ticks2,Ticks3);