Mas o que atualmente vemos emergir deste ameaçador mar de dados é uma vaga que, para muitos, assemelha-se a um tsunami que poderá afogar toda a possibilidade de ordenação da massa de informação efetiva. Para outros, pelo contrário, a chance de dominar estas ondas e canalizá-las, de forma rápida, em direção dos dutos que irrigam o negócio as posiciona não como ameaça, mas como uma fonte de oportunidade antes nunca vista na esfera da exploração de dados. E tudo isso aconteceu muito rápido.

Há pouco mais de duas décadas iniciava-se a digitalização massiva do trabalho; e os níveis de complexidade e volume das informações iam superando, em poucos anos, aquilo que os arquivos de aço, as fichas de cartolina e as máquinas Olivetti haviam levado séculos para erguer no horizonte dos dados. O barateamento dos circuitos Intel e AMD; a popularização de interfaces DOS e Windows, tudo isto associado à crescente banalização das mídias magnéticas tornam o computador uma verdadeira commodity, tirando das grandes empresas o privilégio milagroso da informática.

Falava-se muito em downsing e assistíamos boquiabertos à explosão da produção de dados e sua integração via linguagem C, bem como através do uso de protocolos de comunicação com os então moderníssimos modems analógicos que atingiam a incrível velocidade de 1.200 Bits por segundo. Ainda mal recuperados desse espetáculo da revolução informacional, presenciamos o ‘’boom’’ das redes TCP/IP, ao longo dos anos 80, logo superadas pela Internet abundante e pela transformação da banda larga numa utility comparável à água, à luz e ao esgoto das residências e empresas a partir do ano 2000. Atingir o estágio atual, entretanto, era algo inimaginável há pouco mais de cinco anos.

Enquanto, em 2005, a memória volátil média de um computador de mesa girava em 256MB e com discos de 10 GB; hoje as máquinas saem de fábrica com 4 GB de RAM e HD de 600 Gb. A capacidade de interações nas empresas chegou a níveis astronômicos. Veja-se o exemplo do Walmart, nos EUA. A cada hora do dia, os canais de contato daquela rede varejista atingem 2,5 Petabytes de dados. Ou seja, um volume equivalente a 170 bibliotecas do Senado norte-americano a cada 60 minutos, e isso numa única empresa.

Assim, quando se fala em “Big-Data”, não se pense que seja demasiadamente exagerado associar isto à ideia de um “Big-Bang”, guardadas as proporções. Atente-se para o fato, ainda, de que 85% das informações empresariais são hoje dados não estruturados. O volume e a variação do cardápio das fontes de dados comparecem ainda para multiplicar a complexidade do ambiente informacional para uma dimensão pra lá de estratosférica.

E tudo isto sem mencionar aquela ingênua negligência com que grande parte das empresas vai lidando com a enxurrada de dados, que são simplesmente arquivadas em duplicidade, em multiplicidade e em aleatoriedade... ou então são doce e simplesmente deletadas para não confundirem os “gestores” ou não atulhar o storage! Com este tipo de atitude e sem a tecnologia correta para transformar o dado em negócio, empresas de todos os portes pedem o pé do seu cliente enquanto não ficam de bem com o universo dos “Big-Data”. Elas atrelam sua competência às limitações da informática legada; informática esta que foi desenvolvida num período em que o dado digital ainda usava o paradigma das gavetas e dos armários de aço com que as repartições se adornavam e que, em última instância, geravam arquivos-mortos, e que hoje geram, porque não: enormes cemitérios de dados.

Com informação para se cuidar (e se explorar ao invés de se morrer sufocado sobre ela), é preciso repensar a estratégia de dados, não só nas grandes, mas também nas empresas menores. Manusear este volume astronômico de dados, pensando em entrega rápida e com qualidade dos relatórios, painéis de análises ad hoc, ou de analises preditivas para mecanização de decisões. Aí está o desafio que se coloca para o gestor de informações de negócio. O homem de dados não é mais aquele burocrata dos arquivos, mas um co-estrategista do varejo que busca conhecer a fundo o que tais dados têm a dizer sobre os hábitos de compra do cliente e sua tendência comportamental diante da nossa empresa ou das empresas concorrentes.

Sim, o homem de dados organiza arquivos, mas isto é apenas um meio para que ele descubra brechas ou eventos concretos em termos de fraudes financeiras ou em termos de exaustão futura dos estoques. O modelo tradicional de arquitetura mais comumente utilizada hoje não serve mais : O mundo dos grandes dados exige uma dimensão muito maior em termos de capacidade de I/O e ETL, controle de pontos de falha, gestão de pontos de performance, “ tunning”..... análises tridimensionais de logs e informações que podem ser feitas num segundo, mas também podem levar vários dias.

Só uma tecnologia “supersônica” pode nos apoiar no novo universo “Big-Data”. É por isto que os formadores de opinião da indústria – e, não por acaso, com a IBM à frente, com sua novíssima e ultra-robusta plataforma Netezza – já estão em movimento para promover uma guinada no mercado de soluções de data warehouse. Este movimento promete uma nova revolução cujo start não será daqui a um ano ou daqui a uma semana. Ele já está em curso, na verdade, e as líderes do varejo, bancos, utilities, seguros, governo e serviço já captaram a mensagem.

O volume mundial de dados irá dobrar ou até quadruplicar novamente em 2012. Assim, ou nos valemos disso como diferencial ou corremos o risco de sermos soterrados sobre ruído de bilhões de decibéis que não irá se tornar música.

*Por Por Márcio Guerra – Diretor da MD2 Consultoria