Estima-se que, do início da civilização até 2003, a humanidade criou 5 exabytes (um quintilhão de bytes) de informação. Atualmente, criamos esse mesmo volume a cada dois dias. Um estudo da consultoria IDC indica que, de 2012 até 2020, o volume de dados armazenados na Internet deverá dobrar a cada dois anos.

As razões por trás dessa explosão de dados são simples de entender. A proliferação das redes sociais, o crescimento do e-commerce e a crescente penetração de dispositivos móveis são fenômenos relativamente recentes e que tendem a se intensificar nos próximos anos. Além disso, estima-se que, já em 2015, teremos 25 bilhões de dispositivos conectados, que vão de PCs e smartphones a dispositivos sensoriais como câmaras de monitoramento e medidores de velocidade, gerando uma enxurrada de dados complexos.

A expressão Big Data refere-se a esses enormes conjuntos de dados caracterizados por grandes volumes (por ordem de magnitude), de grande variedade, dados que se originam de diversas fontes de dados, e gerados em alta velocidade, pois podem ser obtidos ao mesmo tempo em que se originam. Essas três características principais são, por vezes, descritas como o “três Vs”“ do Big Data.

Quando se fala de Big Data, sob o ponto de vista empresarial, a grande oportunidade que as empresas têm é a de extrair efetiva inteligência de negócios a partir desses dados. Ferramentas de análise específicas, também conhecidas como ‘Analytics’, permitem implementar estratégias para conhecer e fidelizar melhor seus clientes, reduzir custos operacionais e melhorar seus produtos.

No mundo corporativo, existem exemplos notáveis de criação de vantagem competitiva a partir de estratégias baseadas em técnicas de Big Data. Empresas de e-commerce utilizam dados do perfil de seus consumidores e seu perfil de navegação para definir, em tempo real, produtos a serem oferecidos a seus clientes. A Netflix tem, por exemplo, aproximadamente 2/3 de suas vendas feitas através de recomendações customizadas. Grandes operadoras de Telecom correlacionam dados de perfil de uso de seus clientes e seu perfil de tarifação para definir estratégias para redução de ‘churn’. Empresas do mercado financeiro correlacionam dados públicos de múltiplas fontes de seus clientes de modo a auxiliar a construção de seu perfil de crédito. Empresas do setor de varejo buscam seus pontos de venda usando ferramentas que correlacionam dados complexos de demografia, fluxo de pessoas e consumo setorial.

O mercado de Big Data ainda é relativamente incipiente se comparado a seu potencial. Em 2013, pesquisas de mercado indicam que o mercado global movimente aproximadamente US$ 10 bilhões, sendo que aproximadamente 30% desse volume são representados por software, enquanto o restante é dividido entre hardware e serviços. Apesar de relativamente pequeno, é um dos segmentos de maior crescimento projetado no setor de tecnologia, com taxas superiores a 50% ao ano nos próximos anos. No Brasil, o segmento de ‘Analytics’ deve movimentar mais de US$ 260 milhões este ano, um crescimento de 70% em relação ano passado, segundo dados da consultoria Frost & Sullivan.

O fenômeno do Big Data, em conjunto com a computação em nuvem – o cloud computing – tem potencial para ser disruptivo para a indústria de software. Depois de um período de ‘maturação’, as soluções de ‘Analytics’ permitirão que as companhias obtenham insights importantes sobre seus mercados, competidores e seu negócio, o que representará um elemento competitivo importante, bem como criará ganhos de produtividade e inovação.

Existe um desafio relevante – e longe de ser resolvido – de se simplificar as soluções de ‘Analytics’, a ponto de que sejam utilizadas por usuários de negócio, e não por engenheiros-especialistas e estatísticos. No entanto, a despeito desse desafio e de toda excitação – por vezes exagerada – natural de novas tecnologias, as perspectivas são muito positivas e são corroboradas pela fértil atividade de investimento por parte de fundos de Venture Capital e Private Equity nesse setor, inclusive em empresas emergentes brasileiras. Desde 2008, mais de 500 empresas já foram investidas no setor globalmente, em uma alocação superior a US$4.9 bilhões, segundo a CB Insights.