Big Data e APIs

Pense em um app qualquer instalado no seu celular. Provavelmente ele terá um banco de dados por trás, armazenando, organizando e expondo informação para você.

Quantos bancos de dados você acessa por dia? Já parou para pensar ou sequer considerar isso? Pense, por exemplo, no seu e-mail, nas redes sociais que você acessa via desktop ou celular. Ou praticamente na grande maioria dos sites, sofisticados ou não, todos possuem bancos de dados.

E já considerou o tamanho desses bancos de dados? Com o aumento da capacidade dos discos rígidos e do poder dos processadores, os servidores espalhados pelo mundo ficaram muito mais baratos.

Grandes empresas, como Google e Facebook, possuem datacenters gigantescos de servidores, otimizando suas operações ao redor do mundo todo.

Agora, pare e pense na função de uma API: servir como ponte de dados entre um cliente e um backend.

Será que APIs e Big Data podem ter um relacionamento saudável?

Dica: SIM!

Como Big Data e APIs se relacionam

Antes de entrar nesse assunto, uma pequena introdução sobre Big Data.

Segundo Edd Dumbill, em Planning for Big Data:

Big Data são dados que extrapolam a capacidade de processamento de sistemas banco de dados convencionais.

Já falamos de Big Data em textos anteriores da Sensedia. Por exemplo:

• Big Data e Gamificação;
• Como transformar sua interação com seus consumidores usando APIs e Big Data;
• Como cidades inteligentes revolucionarão sua vida.

De modo geral, os dados desse tipo de banco de dados devem se enquadrar no chamado 3 Vs:

Velocidade

Os dados são gerados em uma velocidade na qual não é possível processá-los em tempo real, ou ainda é necessário que esses dados sejam processados mais rapidamente que um processo batch para que uma resposta seja retornada o quanto antes.

Volume

Caracteriza o processamento de uma grande quantidade de dados, que provavelmente não deve se limitar a uma única base de dados ou data warehouse.

Muitas empresas já devem ter essa grande quantidade de dados, mas o desafio é a capacidade de processar esses dados, que geralmente estão distribuídos.

Variedade

Variedade está muito ligada ao volume. Os dados podem ser gerados de diversas fontes, não necessariamente de uma única organização, com modelo de dados distintos e tipos de dados distintos.

 

Voltando às APIs…

Hoje, as APIs são alavancadores da geração e consumo de informações dispersas pela nuvem, em redes sociais e nas aplicações móveis. As aplicações comerciais de API só dependem da imaginação de cada negócio (mas você pode começar com estas cinco formas de ganhar dinheiro com APIs).

O boom do volume de dados estruturados e não estruturados está sendo possível por diversos motivos, principalmente pela conectividade que as APIs propiciam. Ou seja, sem APIs flexibilizando a troca de informações, sem Big Data.

As empresas terão o desafio de extrair o melhor proveito do enorme volume de dados gerados voluntariamente e involuntariamente por máquinas e usuários. Afinal, muito do volume de Big Data é lixo e barulho.

Mas, bom ou ruim, na maior parte dos casos, trafegados através de uma API.

Não se afogue nos dados!

A avalanche é real.

E você provavelmente já está imerso em uma quantidade de informações inimaginável há meros cinco anos. Quantos e-mails e notícias você lê por dia? Quais empresas estão gritando pela sua atenção?

Quantos sensores você tem à sua volta nesse momento?

Os indicadores sobre Big Data são surpreendentes e só envolvem cifras gigantescas (veja o Slideshare abaixo, por Bernard Marr, autor de Big Data).

Como exemplo, você sabia que, em 2020, a quantidade total de informação gerada terá ultrapassado 40 zettabytes? Isso é o mesmo que 40 trilhões de GB, o que equivale a mais de 5 terabytes por ser humano na Terra. E isso não estará sendo produzido por pessoas, mas por máquinas, com sensores e algoritmos de comunicação com outras máquinas.

Big Data já chegou

Agora que você leu o artigo, pare novamente e veja os apps instalados no seu celular. Ou olhe as abas abertas no seu navegador agora.

Quanta informação você, um único ser humano, com alguns gadgets, está gerando e consumindo?

Sim, Big Data já chegou, e está na palma da sua mão.

Espero que sua empresa já esteja tomando as melhores decisões.

E que as APIs estejam ao seu lado!

Um abraço e até a próxima.