Discussão do artigo "Manipulação de Arquivos ZIP em Linguagem MQL5 Pura" - página 8

Novo comentário
 
Há planos de adicionar uma função para descompactar uma cadeia de caracteres compactada com o algoritmo GZIP?
 
Ivan Titov CryptEncode(CRYPT_ARCH_ZIP). Não é difícil fazer isso sozinho, sem usar bibliotecas de terceiros, porque o algoritmo de compactação é o mesmo, deflate (no MQL ele tem um identificador não muito bom CRYPT_ARCH_ZIP). É uma pena que não haja um artigo especial "Working with GZip archive using MQL5 tools". Em geral, essa não é a tarefa de uma função do sistema, mas a tarefa de uma bibiloteka MQL especial, envolvendo o deflate no formato gzip.
 
Jacobie Nycambren Barksdale #:
Alguma atualização sobre isso? Estou encontrando erros em

'ZipLocalHeaderOpen' tem construtor e não pode ser usado como membro de união ZipHeader.mqh 52 23

Jacobie, Stanislav Korotky publicou um pacote que contém essa biblioteca zip aqui, com algumas correções.

Eu o testei e, até agora, está funcionando muito bem.

MQL5 Program Packer
MQL5 Program Packer
  • www.mql5.com
This is MQL5 project packer: assemble all source and resource files from dependencies into a single ZIP.
 

Deparei-me com um arquivo que o CZip não conseguiu descompactar. Ao mesmo tempo, o 7ZIP e o Windows Archiver descompactaram sem problemas.
Imprimi o tamanho dos dados compactados, que acabou sendo dezenas de megabytes menor do que o arquivo (e há apenas um arquivo nele).

CompressedSize:76964920
Comecei a procurar onde ele é calculado e o encontrei na função FindZipFileSize().

Experimentei...
Descobri que, se você retornar todos os dados end_size como tamanho dos dados, o arquivo será descompactado corretamente. Aparentemente, ao descompactar, o próprio código determina o fim dos dados, em vez de confiar na resposta dessa função. O principal é que ele não deve ser menor. Você poderia deixá-lo assim, mas acontece que a função é inútil, o que é improvável. E talvez alguns outros arquivos falhem...
Mais um experimento mostrou que, se você comentar as linhas

    // if(pattern == cdheader) 
    // break;

O arquivo também começa a ser descompactado. A quantidade de dados está próxima de 100%.

CompressedSize:106638447
Acontece que o arquivo tem uint cdheader = 0x504b0102; e isso é uma parte dos dados compactados, não um rótulo de seu final.

Você cometeu um erro com o rótulo? Encontrei esse rótulo em uma pesquisa na Internet. Talvez ele deva ser processado de alguma outra forma, em vez de cortar os dados por ele, eu cortei 30 MB.

Função trabalhando com este arquivo: (arquivo \Include\Zip\Zip\Zip.mqh)

int CZip::FindZipFileSize(uchar &zip_array[],int offset)
{
   uint pattern =    0;
   int size =        0;
   uint header =     0x504b0304;
   uint cdheader =   0x504b0102;
   uint mask =       0xffff0000;
   int end_size = ArraySize(zip_array)-offset;
   //esse é um buffer em anel baseado no deslocamento à esquerda do byte: x = x << 8
   for(; size < end_size; size++)
   {
      pattern = pattern << 8;
      uint nbyte = zip_array[offset+size];
      pattern = pattern | nbyte;
      //verificar os 2 bytes superiores
      if((pattern & mask)!=(0x504b << 16))
         continue;
      //se os dois bytes superiores forem iguais a 0x504b, verifique todas as assinaturas
      if(pattern == header)
         break;
    // if(pattern == cdheader)
    // break;
   }
   //Nenhuma assinatura encontrada. Formato ruim.
   if(size == end_size-1)
      return 0;
   //Tamanho do retorno - tamanho da assinatura.
   return size-sizeof(ZIP_LOCAL_HEADER)+1;
}
Posso enviar o arquivo para você em uma mensagem privada se estiver interessado em descobrir isso.
 

Outro erro com outro arquivo. Desta vez, comentar as linhas ajudou 

// se (padrão == cabeçalho)
// break;

Ou seja, o código uint header = 0x504b0304; também ocorre no conteúdo do arquivo e ele é descompactado com êxito pelo 7Zip, pelo Windows e por essa versão corrigida do CZip.

Como as duas saídas do loop estão desativadas, o loop se tornou supérfluo, pode ser excluído e retornado:

return ArraySize(zip_array)-offset-sizeof(ZIP_LOCAL_HEADER)+1;

Obviamente, há algum defeito nessa função. Afinal de contas, a condição 

   //Nenhuma assinatura encontrada. Formato ruim.
   if(size == end_size-1)
      return 0;

nunca será cumprida, pois ao sair do loop quando o fim dos dados for atingido, size == end_size será size == end_size, e não 1 a menos.

Como resultado, reduzi a função para uma linha:

int CZip::FindZipFileSize(const uchar &zip_array[],int offset)
{
   /*uint pattern = 0;
 int size =0;
 uint header = 0x504b0304;
 uint cdheader =0x504b0102;
 uint mask = 0xffffff0000;
 int end_size = ArraySize(zip_array)-offset;
 //este é um buffer em anel baseado no deslocamento à esquerda do byte: x = x << 8
 for(; size < end_size; size++)
 {
 pattern = pattern << 8;
 uint nbyte = zip_array[offset+size];
 pattern = pattern | nbyte;
 //check upper 2 bytes
 if((pattern & mask)!=(0x504b << 16))
 continue;
 //se dois bytes superiores forem iguais a 0x504b, verifique todas as assinaturas
// if(pattern == header)
//break;
// if(pattern == cdheader)
//break;
 }
 //Não foram encontradas assinaturas. Formato ruim.
 if(size == end_size-1)
 return 0;
 //Return size - signature size.
 return size-size-sizeof(ZIP_LOCAL_HEADER)+1;
 */
   return ArraySize(zip_array)-offset-sizeof(ZIP_LOCAL_HEADER)+1;
}

O programa com essa versão da função já baixou 110 arquivos de 12 Gg no total e descompactou tudo com sucesso.

Se alguém tiver problemas com a descompactação, pode tentar essa versão da função.

 
Baixei e descompactei quase 300 arquivos. E os dados contidos neles estão ficando maiores e atingiram o limite de tamanho.
O arquivo deveria ter 1,8 bilhão de elementos char, mas foi descompactado e cortado para 1,5 bilhão. Alguns dados foram perdidos. É estranho que ele tenha sido cortado tão curto, pois as matrizes podem ter até 2147483647 elementos.
A função de terminal
produz dados cortados. 
CryptDecode(CRYPT_ARCH_ZIP, m_file_puck, key, file_array);

Não há nada a ser feito sobre isso...

Pensei que fosse possível decodificar em blocos pares de kb/mb - forneci 1024, 1024*1024 e 1024*1024*10 - mas não funcionou.

Terei que salvar os arquivos, descompactá-los manualmente e depois processá-los. Isso será incômodo - sem automação ((

Existe alguma maneira de usar o arquivador do Windows? Usar o WinExec para descompactar em um arquivo e depois lê-lo linha por linha. Dessa forma, a automação permanecerá. Mas não para o mercado.
 
Forester #:
Existe alguma maneira de usar o arquivador do Windows? Use o WinExec para descompactar em um arquivo e, em seguida, leia-o linha por linha.

Você pode, obviamente. Qual é o problema? Talvez eu tenha entendido errado? Há muito tempo existem os arquivadores de console UnRAR.exe, UnZip.exe, etc.

 
Forester #:

Outro erro com outro arquivo. Desta vez, comentar as linhas ajudou

Ou seja, o código uint header = 0x504b0304; também ocorre no conteúdo do arquivo e ele é descompactado com sucesso pelo 7Zip, pelo Windows e por essa versão corrigida do CZip.

Como as duas saídas do loop estão desativadas, o loop se tornou supérfluo, pode ser excluído e retornado:

Obviamente, há algum defeito nessa função. Afinal de contas, a condição

nunca será cumprida, pois ao sair do loop quando o fim dos dados for atingido, o tamanho == tamanho_final será tamanho == tamanho_final, não 1 a menos.

Como resultado, reduzi a função para uma linha:

O programa com essa versão da função já baixou 110 arquivos de 12 Gg no total e descompactou tudo com êxito.

Se alguém tiver problemas com a descompactação, pode tentar essa versão da função.

Posso supor que você ainda precise procurar rótulos, mas não no corpo do arquivo, e sim entre os arquivos, se houver vários deles. Provavelmente, os comprimentos dos arquivos devem ser registrados em algum lugar....
Em geral, minha solução é particular para minha tarefa com 1 arquivo no arquivo, se houver vários deles - talvez você precise fazer outra coisa.

 
Forester #:

Posso presumir que os rótulos ainda precisam ser pesquisados, mas não no corpo do arquivo, e sim entre os arquivos, se houver vários deles. Provavelmente, os comprimentos do arquivo devem ser registrados em algum lugar....
Em geral, minha solução é particular para minha tarefa com 1 arquivo no arquivo, se houver vários deles - talvez seja necessário fazer outra coisa.

Fiz uma impressão dos tamanhos compactados e descompactados que deveriam estar nos cabeçalhos.
Os arquivos que baixei têm 0 0. Se o tamanho for 0, o FindZipFileSize() discutido acima será chamado.

Criei um arquivo com o primeiro arquivo usando um arquivador normal. Os tamanhos no cabeçalho:
46389587 376516461

E outro arquivo com mais dois arquivos, incluindo o que foi adicionado ao primeiro arquivo:
46981880 314725045
46389587 376516461

Ambos têm os tamanhos escritos nos cabeçalhos e não chamaram FindZipFileSize()

E os arquivos que baixei (com tamanhos 0 0) aparentemente foram criados por um software que não escreveu os tamanhos nos cabeçalhos.

Talvez minha solução para encurtar o FindZipFileSize() seja universal.

 
Edgar Akhmadeev #:

Nós podemos, obviamente. Qual é o problema? Talvez eu tenha entendido errado? Há muito tempo existem os arquivadores de console UnRAR.exe, UnZip.exe, etc.

Fiz a descompactação por meio do 7-zip (o UnZip.exe não é atualizado desde 2009, nem mesmo o suporte ao Win 7 está escrito).
Comparei a velocidade:
Esta biblioteca CZIP:

2025.06.14 20:59:06.758 Arquivo aberto com sucesso. Total de arquivos: 1.
2025.06.14 20:59:07.345 UnZipped
587ms

7-zip:
2025.06.14 21:00:07.312 Iniciar descompactação pelo 7-Zip.
2025.06.14 21:00:09.274 Descompactado pelo 7-Zip. Tamanho do arquivo: 428,22 MB
1962 ms

Isso é apenas para descompactar o arquivo com redefinição para o disco SSD. Você também precisa ler o arquivo do disco linha por linha.

Tempo total do início ao fim da análise:
Tempo total: 10s 709ms
e
Tempo total: 12s 892ms
A diferença é de 2s 183 ms.

Em geral, é preferível usar essa biblioteca CZIP para obter velocidade e, se o arquivo for muito grande, usar outros arquivadores.

Para mim, para ~1000 arquivos a 2 segundos cada = 33 minutos de economia. Na verdade, mais, já que este é um exemplo com o menor arquivo de 428 mb, o CZIP descompacta arquivos de até 1,7 GB.
Qualquer arquivo maior (até 4 GB) é tratado pelo 7-zip. Portanto, há uma economia de 1 a 1,5 horas.

Testei o CZIP com minhas edições - descompactou mais de 600 arquivos em 100 GB sem erros.

12345678910
Novo comentário