GZIP - Decodifica - libreria per MetaTrader 5

La libreria consente di decriptare gli archivi GZIP da file *.gz o le risposte da siti compressi con questo formato. Testata su file con un massimo di 0,5 GB di testo.

La libreria è in grado di verificare automaticamente, tramite il flag nel 4° byte, se l'archivio è un file compresso o un dato compresso dal sito; nel secondo caso non c'è alcun nome di file nei dati.

I dati di input per la decompressione devono essere rappresentati in un array di tipo char.

Per la decompressione si utilizza la funzione terminale CryptDecode(CRYPT_ARCH_ZIP, tmp, key, tx);

La classe GZIP contiene metodi:

isGZIP(char& gz[])

- controlla i primi tre caratteri dei dati ricevuti per verificare se sono compressi in formato GZIP.

Dopo questo controllo, è possibile richiamare uno dei sovraccarichi del metodo unGZIP:

bool unGZIP(char& gz[], char& tx[], string& fname, bool printTime=false){}

il caso d'uso preferito in termini di velocità e consumo di memoria. Durante la decompressione, l'array di char tx viene riempito. Quindi i dati possono essere elaborati da un parser CSV o JSON. In questo modo si ottiene il risultato senza incollare l'array in una stringa e poi dividerlo per stringhe o altri caratteri.

Se si ha ancora bisogno di ottenere una stringa, si può usare uno dei sovraccarichi:

bool unGZIP(char& gz[], string& out, bool printTime=false, uint codepage=CP_ACP){}

restituisce true se lo spacchettamento è riuscito, la stringa spacchettata è nella stringa out

oppure

string unGZIP(char& gz[], bool printTime=false, uint codepage=CP_ACP){}

return string. Se la decompressione fallisce, la stringa sarà vuota.

Occorre prestare attenzione quando si utilizza la concatenazione dei dati in un'unica stringa.
Se si scompatta un archivio con 0,5 GB di dati, la stringa richiederà altri 0,5 GB, poi si potrà dividere in un array di stringhe, che richiederà altri 0,5 GB. Più il costo temporale di tutte queste operazioni.

Esempio di utilizzo per la lettura di dati compressi da un sito web e poi la lettura da un file: (questo script è allegato per il download)

#property copyright "Copyright 2023, Forester"
#property link      "https://www.mql5.com"
#property version   "1.00"

#include <GZIP.mqh>
GZIP gzip;

void OnStart(){
      Print("GZipped webpage read sample:");
      string url="https://............";
      char out[]; 
      if(http_req(url, out,"GET","Accept-Encoding: gzip, deflate\r\n", 1,0)){
          if(gzip.isGZIP(out)){
            Print("GZIP detected");
            string txt; if(!gzip.unGZIP(out, txt, 1, CP_UTF8)){return;}//CP_ACP
            Print(txt);
         }else{
         Print("No GZIP");Print(CharArrayToString(out, 0, WHOLE_ARRAY, CP_UTF8));
         }
      }
      
      Print("File read sample:");
      bool is_common=1;
      string fn="3.csv.gz";
      bool is_zip=1;

      int h;
      if(is_zip){
         h = FileOpen(fn,FILE_READ|FILE_BIN|FILE_READ|(is_common?FILE_COMMON:0));
      }else{
         h = FileOpen(fn,FILE_READ|FILE_CSV|FILE_ANSI|(is_common?FILE_COMMON:0));
      }
      if( h!=INVALID_HANDLE){
         Print ("Start gzip");
         char gz[],tx[];
         FileReadArray(h, gz); FileClose(h); 
         
         if(gzip.isGZIP(gz)){
            Print("GZIP detected");
            string fname;
            if(!gzip.unGZIP(gz, tx,fname,1)){return;}
            //stringa txt; if(!unGZIP(gz, txt, 1, CP_ACP)){return;}//CP_UTF8
            //stringa txt=unGZIP(gz, 1, CP_ACP);if(txt=="){return;}
            if(fname!=NULL){Print("File name: ",fname,", file size: ",ArraySize(tx));}
            string t=  CharArrayToString(tx,0,100);Print("Filr content: ",t);t=  CharArrayToString(tx,ArraySize(tx)-100,100);Print("... ",t);

 
            //ulong mcs = GetMicrosecondCount();
            //stringa csvRow[];int columns=0, next=0; char sep=',', newLine='\n';
            //mentre(getCSVRow(tx, csvRow, columns, next, sep, newLine) && !IsStopped()){//ottenere la riga successiva
              // for(int c=0; c<colonne; c++){
               //Stampa();
              // }
               //Stampa(successivo);
            //}
            //Stampa("Tempo di analisi CSV: ",(GetMicrosecondCount()-mcs)," mcs");
            //ArrayPrint(csvRow);

        }else{}
      }
}

int getCSVRow(char& csv[], string& outAr[], int& cols, int& next, char& sep, char& newLine){//ottenere la riga successiva
   for(int i=next; i<ArraySize(csv); i++){
      if(csv[i] == newLine){
         cols=StringSplit(CharArrayToString(csv,next,i-next),sep,outAr);// elabora 1 riga separatamente - 5-10% più veloce di parseCSV e ha memoria per 1 array di grandi dimensioni.
         next=i+1;
         return true;
      }
   }
   return false;
}



bool http_req(string url, char& out[],string method="GET",string headers_request=NULL, bool printTime=false,bool debug=false){
   ulong mcs = (printTime?GetMicrosecondCount():0);
   bool retVal=false;
   ResetLastError();
   char data[];string headers=NULL;
   int r=WebRequest(method, url, headers_request, 5000, data, out, headers);
   if(r==-1){Print("Error in WebRequest. Err code =",GetLastError());MessageBox("It is necessary to add the address '"+url+"' to the list of allowed URLs in the 'Advisors' tab","Error",MB_ICONINFORMATION);}
   else{if(r==200){ retVal=  true; }else{PrintFormat("Download error '%s', responce code %d",url,r);Print("Error in WebRequest. Err code =",GetLastError());}}if(debug){PrintFormat("Responce headers: %s\r\nResponce:",headers);Print(CharArrayToString(out));}//
   if(printTime){Print("WebRequest time: ",(GetMicrosecondCount()-mcs)," mcs");}
   return retVal;
}

Questo esempio legge un file dalla cartella dei file e lo decomprime in un array.
Vengono stampati i primi e gli ultimi 100 caratteri del file decompresso.
L'array può quindi essere inviato a un parser CSV o JSON. Per JSON esiste la libreria JASON in kodobase. Può analizzare i dati ricevuti come array di caratteri.

Esempio di output durante la decompressione di un file CSV compresso di 120 MB, il file di origine è di 463 MB:

La decompressione ha richiesto circa 1,2 secondi.