Simbólica IO e os limites de compressão

Comprima isto!

Aqui está o hype

dados desmaterializa? Essa é uma característica que eu nunca ouvi ninguém pedir. Parece que alguns passos para cima da “nuvem”.

Eu não falei com ninguém na empresa, então comecei vendo os seus patentes. O fundador do IO simbólica, Brian Ignomirello, tem um nome incomum, assim que encontrar suas patentes é fácil. Dois de particular interesse: Método e aparelhos para hiper densa io marcadores de retenção e de bits digitais e conversores de frequência.

Se o produto segue as patentes, existem dois elementos-chave para o sistema de IO simbólica

Como você pode lembrar de seminal teoria, um matemático de Claude Shannon de Comunicação – (é incrível o quão rápido que pode esvaziar uma sala)

A redundância de Inglês comum, não considerando estrutura estatística sobre distâncias maiores do que cerca de oito letras, é de aproximadamente 50%.

Alguns assumem que a compressão para além de 50 por cento – cortar o comprimento ao meio – portanto, não é viável. Mas isso é errado, como de-duplicação demonstra, que atinge taxas de compressão tão elevadas como 25 a 1 em alguns ambientes de produção.

Simbólica IO, evidentemente, procura alcançar muito alta compressão com uma técnica diferente, acelerado por hardware. Mais sobre o hardware em um momento.

Seu sistema analisa dados brutos para criar um gráfico de padrões de bits repetidas ou vetores de frequência. Estes vectores são então atribuídos marcadores de bit, com os padrões mais comuns recebendo os marcadores de bit mais curtos.

Além disso, esses padrões são ainda mais reduzido assumindo um comprimento fixo e, por exemplo, zeros à direita. Idealmente, você pode substituir 4k bytes com um mercado de 4 bytes, para uma taxa de compressão maciça e muito maior largura de banda.

Como a freqüência de padrões de bits pode mudar ao longo do tempo, existe a possibilidade de substituir os marcadores de bit para garantir o máximo de compactação com diferentes tipos de conteúdo. marcadores de bit pode ser personalizado para determinados tipos de arquivo, como mp3, também.

Manter essas estruturas de dados tem um monte de I / O. Tendo isso I / O do frasco do estiramento de todo o sistema é fundamental. O que nos chega ao hardware.

patente simbólica de IO para a retenção digitais discute como os servidores podem ser otimizados para os seus algoritmos de codificação / decodificação. A solução inclui

Lotes de pesquisas para re-hidratar os dados, de modo RAM é a resposta óbvia. Adicionando inteligência para um slot DIMM descarrega o trabalho da CPU do servidor, ao dar-lhe o que eu mais rápida e mais consistente / O possível – muito melhor do que qualquer PCIe ou ônibus NVMe.

Enquanto eu gosto do controlador de slot DIMM inteligente, eu não estou vendido em reivindicações simbólica de Io. Por quê? Porque grande parte dos dados bulkiest já é comprimido – vídeo, por exemplo – e se a compressão é completo os dados devem ser quase aleatória, tornando-se difícil encontrar vetores comuns o suficiente para mais de compressão.

Um método de codificação eficiente para compressão de dados;. Um sistema de hardware para otimizar a velocidade de codificação / decodificação.

Além disso, depende muito da estabilidade dos padrões de bits ao longo do tempo, caso contrário, você estará gerando um novo gráfico de frequência a cada poucos dias, gerando uma sobrecarga considerável. E as estruturas de dados precisam ser à prova de balas, ou todos os seus dados poderia ir poof em um milissegundo.

Mas acima de tudo, uma arquitetura de armazenamento de dados refrescante criativo.

comentários amáveis ​​boas-vindas, como sempre. Partes deste post apareceu pela primeira vez em StorageMojo.com

NetApp lança sistema mid-tier para lagos de dados, parceiros com Zaloni

Um motorista especializado, é claro;. Um controlador de hardware baseado DIMM slots;. Uma caixa de RAM controlada pelo controlador DIMM, atingido por uma interface de memória original;. Super tampões para manter o poder para a RAM no caso de as luzes se apagarem.

Armazenamento; NetApp lança sistema mid-tier para lagos de dados, parceiros com Zaloni; Nuvem; Michael Dell em fechar negócio EMC: “Podemos pensar em décadas; Data Centers; Dell Technologies decola: Aqui está o que vê como Dell, EMC, uma bando de negócios empresariais combinam; armazenamento; Facebook Open fontes ZStandard algoritmo de compressão de dados, tem o objetivo de substituir a tecnologia por trás Zip

patentes

Michael Dell em fechar negócio EMC: “Podemos pensar em décadas ‘

Dell Technologies decola: Aqui está o que vê como Dell, EMC, um bando de negócios empresariais combinam

Facebook Open fontes ZStandard algoritmo de compressão de dados, tem o objetivo de substituir a tecnologia por trás Zip

Hardware para o resgate

Os bits de armazenamento tomar