Precisa de ajuda! Não consigo resolver o problema, estou atingindo limitações de hardware - página 9

 
Urain:

para Komposter: Andrei, se você está preso ao problema da dimensão, significa que cometeu um erro ao formular o problema.

Há três opções aqui:

1 pense nisso você mesmo

2 abrir o problema em um fórum público

3 resolver o problema em particular (para todos aqueles que você acha que podem resolvê-lo e confiar para mantê-lo em segredo).

Deixe-me explicar o que quero dizer: se você guarda notícias, você pode escrever tangas de todas as notícias, ou pode fazer as frases típicas (compressão), "saldo da conta" torna-se um 1, "patrimônio da conta" torna-se um 2, etc. Outra variante do problema típico é o desejo de preencher dados já classificados, para grandes dimensões isto é a morte, é mais fácil adicionar ao final e fazer a classificação condicional por índices.

Acho que entendo o que quero dizer quando digo que há um erro na definição da tarefa.

Bem, você pode fazer tal substituição em um bom editor de texto. Suponho que sob todas as condições (ao falar sobre notícias), as informações redundantes serão >40%.

Entretanto, não se livrará da funcionalidade de escrita para o processamento de dados de texto. Se o problema de volume for resolvido, o problema de desempenho pode rastejar.

E em geral a declaração do problema não está totalmente resolvida, é um fato... não muitos dados, mas mais opções ))

 

Não é sobre isso que estamos falando aqui.

 
YuraZ:

>>> Fale sobre a comparação de duas seqüências comprimidas.

elemento único, já que não tem seqüência não é comprimido, a busca falha

Verificação - na prática

exemplo - comprimir dois arquivos RAR

ELEMENTO - 08:01:

E SEQUÊNCIA

08:01:33.
08:01:38.
08:01:38.
08:01:39.
08:01:40.
08:01:49.
08:01:57.
08:16:53.
08:16:59.
10:09:28.
10:09:29.
10:09:29.
10:09:29.
10:09:30.
10:32:23.
10:32:24.
10:56:11.
10:56:12.
10:56:12.
10:56:12.
10:56:13.
10:56:39.
10:56:39.
10:56:39.
10:56:48.
10:56:48.
10:56:48.
10:57:03.
10:57:04.
10:57:04.
10:57:07.
10:57:07.
10:57:07.
10:57:51.
10:57:52.
11:44:50.
11:44:52.
11:44:52.
11:44:52.
11:44:53.
12:57:35.
12:57:46.
12:57:46.
12:57:46.
14:01:41.
14:01:46.
14:20:06.
14:20:08.



---

Abra ambos os arquivos RAR em um editor HEX e tente encontrar

Você verá que o elemento 08:01: não é comprimido

e não vai corresponder ao que está no segundo arquivo.


Se você comprimir cada entrada - cada coluna separadamente - você não obterá um ganho de tamanho

Pelo contrário, você aumentará o volume de dados às custas dos dados de controle do arquivador

 
YuraZ:

Confira - na prática

exemplo - RAR comprime dois arquivos

ELEMENTO - 08:01:

E SEQUÊNCIA

08:01:33.
08:01:38.
08:01:38.
08:01:39.
08:01:40.
08:01:49.
08:01:57.
08:16:53.
08:16:59.
10:09:28.
10:09:29.
10:09:29.
10:09:29.
10:09:30.
10:32:23.
10:32:24.
10:56:11.
10:56:12.
10:56:12.
10:56:12.
10:56:13.
10:56:39.
10:56:39.
10:56:39.
10:56:48.
10:56:48.
10:56:48.
10:57:03.
10:57:04.
10:57:04.
10:57:07.
10:57:07.
10:57:07.
10:57:51.
10:57:52.
11:44:50.
11:44:52.
11:44:52.
11:44:52.
11:44:53.
12:57:35.
12:57:46.08:01:
12:57:46.
12:57:46.
14:01:41.
14:01:46.
14:20:06.
14:20:08.



---

Abra ambos os arquivos RAR em um editor HEX e tente encontrar

Você vai descobrir que o elemento 08:01: não é comprimido

e não combinará de forma alguma.


mas se você comprimir cada entrada - cada coluna separadamente - você não ganhará em tamanho

pelo contrário, você aumentará a quantidade de dados

Cada registro tem que ser comprimido individualmente. É claro, só faz sentido quando os registros são suficientemente grandes para comprimi-los.

 
Integer:

Cada registro tem que ser comprimido individualmente. Naturalmente, isto só faz sentido se as gravações forem suficientemente grandes para serem realmente comprimidas.

Portanto, chegamos ao ponto em que temos que trabalhar em blocos. Assim, será impossível encontrar uma informação que não corresponda a um bloco em tamanho.
 
Contender:
Bem, chegamos à conclusão de que devemos trabalhar em blocos. Assim, será impossível encontrar uma informação que não corresponda ao tamanho de um bloco.

Por que isso acontece? De quê? Qual é o problema? Não cheguei a isso.

 
Integer:

Por que isso acontece? De quê? Qual é o problema? Não cheguei a isso.

E ele ainda está falando sobre bolas com Mischka :)
 
Integer:

Cada registro tem que ser comprimido individualmente. Naturalmente, isso só faz sentido se as gravações forem suficientemente grandes para realmente comprimi-las.

Dimitri - se você comprimir cada registro - uma linha

Você aumentará o volume - confira!


201 a1.rar -- aaaa1 comprimido Não posso dizer que esteja comprimido, mas está comprimido.

era 535 aaaa1

tornou-se 77 a2.rar um elemento é comprimido - ou melhor, não é comprimido ... mas no arquivo + bytes de controle

era 8 aaaa2

---

o volume de dados aumentará de 20 gigs para o tamanho de 20 gigs de elemento de busca + bytes de velocidade

Qual é o objetivo então?

 
YuraZ:

Dimitri - se você comprimir cada registro - uma linha

Você aumentará o volume - confira!


201 a1.rar -- aaaa1 comprimido Não posso dizer que esteja comprimido, mas está comprimido.

535 aaaa1

77 a2.rar um elemento é comprimido - ou melhor, não é comprimido ... mas no arquivo + bytes de controle

8 aaaa2

---

o volume de dados aumentará de 20 gigs para o tamanho de 20 gigs de elemento de busca + bytes de gerenciamento

Qual é o objetivo então?

Sim, eu sei que se os dados são curtos, o tamanho aumenta ao arquivar.
 
Integer:
Sim, eu sei que se os dados são curtos, eles aumentam de tamanho ao serem arquivados.

Mm-hmm - é por isso que a que você sugeriu não é boa

Razão: