As empresas estão realmente preparadas para o Big Data?

Este ano, um dos assuntos mais falados foi Big Data. Uma pesquisa no Google Trends mostra um crescimento exponencial no interesse sobre o tema. Participei também de diversas palestras e reuniões com executivos para debater o assunto, e a conclusão a que cheguei é ainda estamos discutindo muito e fazendo relativamente pouco. Existem, é claro, diversos casos de sucesso, mas a maioria das empresas ainda não tem uma visão clara do que é Big Data, do seu potencial e como alavancar essa potencialidade. O próprio conceito de Big Data ainda está um pouco nebuloso. Veja por exemplo, o que diz o Global Language Monitor em relação ao assunto.

O que vejo são muitas empresas entrando em iniciativas de Big Data sem uma estratégia bem definida que as oriente. Big Data não é apenas comprar pacotes de tecnologia, mas uma nova maneira de explorar o imenso volume de dados que circula dentro e fora das empresas. Big Data embute transformações em processos de negócio, fontes de dados, infraestrutura de tecnologia, capacitações e mesmo mudanças organizacionais na empresa e em TI.

Antes de mais nada, é importante lembrar que Big Data não trata apenas da dimensão volume, mas existe também uma variedade imensa de dados, não estruturados, dentro e fora das empresas (coletadas das mídias sociais, por exemplo), que precisam ser validados (terem veracidade para serem usados) e tratados em velocidade adequada para terem valor para o negócio. A fórmula é então, Big Data = volume + variedade + velocidade + veracidade +  valor.

A questão do valor é importante. Big Data  só faz sentido se o valor da análise dos dados compensar o custo de sua coleta, armazenamento e processamento. Existem também questões legais a serem resolvidas. Conheço um caso muito curioso de uma grande rede varejista americana que usa um sofisticado algoritmo de análise preditiva baseado na varredura de um imenso volume de dados de seus clientes. O algoritmo chegou à conclusão de que determinado padrão de compras e comentários nas mídias sociais levantava uma boa  possibilidade de uma determinada pessoa estar grávida e enviou correspondência com promoções para grávidas para suas residências. Quem  abriu foi o pai da adolescente que descobriu então a gravidez a filha. O advertising  baseado nessas análises é uma questão ainda indefinida de invasão de privacidade. O uso de dados para prever eventos futuros da vida de uma pessoa tem consequências impactantes, particularmente se familiares ou potenciais empregadores passam a ter conhecimento de questões pessoais ligadas a estilo de vida ou estado clínico. Pior se a análise não for verídica, o que geraria um inconveniente muito grande e eventualmente um processo legal.

A capacitação profissional é um fator importantíssmo. Recomendo a leitura do texto “7 new types of jobs created by Big Data”. Ele mostra que existem várias possibilidades de capacitação no setor, tanto no viés técnico como no analítico. No lado analítico, é necessário preparação para sair do questionamento atual, que se faz pelo tradicional BI (“qual foi nossa taxa de crescimento em vendas mês a mês, nos últimos dois anos?”), obtida pelos dados históricos armazenados no Data Warehouse e coletados pelos sistemas transacionais para novos tipos de análises. Com dados coletados em tempo real, não apenas pelos sistemas transacionais, mas também de mídias sociais, bases de dados públicas e outras, inclusive que estão em sistemas internos, mas inaproveitados,  podemos, por exemplo, chegar a respostas “como podemos crescer 20% no ticket médio de nossos clientes nas lojas da Zona Sul do Rio de Janeiro, ao mesmo tempo em que a concorrência está inaugurando duas novas lojas?”. Analisar comportamento dos seus clientes e do mercado como um todo pode levar à identificação de oportunidades de lançamento de novos produtos, focados em determinados nichos deixados a descoberto pela concorrência.

Big Data é um Big Challenge para os CIOs e a área de TI. Primeiro, temos as tecnologias que envolvem Big Data. Muitas vezes, será necessário ir além das tecnologias tradicionais de banco de dados e Data Warehouse, entrando no campo dos bancos de dados NoSQL e processamento massivo. Temos também a questão da privacidade e acesso a dados confidenciais. É essencial criar uma política de acesso e divulgação das informações. Análises preditivas podem gerar resultados que podem questionar algumas perspectivas de negócios da empresa e precisam ter sua divulgação filtrada para não serem disseminadas inadequadamente. A capacidade analítica para traduzir dados em informações e conhecimento é outro desafio. Requer capacitação e ferramentas de visualização bem mais sofisticadas. Recomendo acessar o ManyEyes da IBM para uma ideia dos experimentos em novas formas de visualização de dados.

Outra mudança que o Big Data embute é a transformação das relações entre TI e o negócio. TI deve prover a base tecnológica, governança e procedimentos de segurança para o Big Data, mas as consultas e as análises deverão ser feitas pelas áreas de negócio. O modelo Big Data deve ser, para o usuário, um modelo self-service.

Big Data não é em absoluto um hype de mercado. É um tsunami ainda em alto mar, pouco visível,  mas com poder de causar devastação imensa se for ignorado. A sugestão que faço é avaliar o impacto do Big Data na sua indústria e sua empresa e quão distante a sua organização está hoje em termos de “estar preparada” para o que vem pela frente. Isso significa avaliar a empresa e a área de TI para as tecnologias, as capacitações e os processos que serão necessários para explorar o potencial do Big Data. Adicionalmente, ainda é um cenário imaturo e existem poucos exemplos de “melhores práticas”. Portanto, é uma iniciativa inovadora para  maioria das empresas, com os riscos e, claro, as recompensas dos empreendedores inovadores.  Mas ficar parado esperando a onda chegar será perigoso, pois,  provavelmente até o fim da década, Big Data passará ser apenas “Just  Data”. Será o modelo natural de pensar análises de dados.