Estudo de Caso AWS: BigData Corp

Hoje temos o prazer em publicar mais um estudo de caso sobre a utilização da nuvem da Amazon Web Services. Se você também quer contar sua história para nós, entre em contato conosco!

O caso é da BigData Corp, uma empresa que atua em duas linhas com serviços e produtos de Big Data.

Thoran Rodrigues, CEO da BigData Corp, nos conta abaixo um pouco mais sobre a empresa e como utilizam a Nuvem da Amazon Web Services.

“A BigData Corp é uma empresa localizada no Rio de Janeiro, que conta hoje com uma equipe de onze funcionários. A empresa possui
duas linhas de atuação: serviços de Big Data, onde realizamos processamentos e análises de grandes volumes de informação para nossos clientes; e produtos de Big Data, onde utilizamos nosso conhecimento em processos de recuperação e
tratamento de dados para entregar informação extraída de grandes fontes, como mídias sociais ou a própria web.

Um dos nossos desafios era possibilitar a captura e o processamento de um grande volume de dados de forma escalável, flexível e
eficiente. Nós queríamos construir um produto que trouxesse uma visão diferente da internet; que não fosse focado no conteúdo, mas sim nos relacionamentos, características das páginas, prestadores de serviço e similares. Para isso, teríamos que montar um grande processo de crawling, que vasculhasse todos os sites da web do Brasil semanalmente, processando as páginas para extrair informações relevantes e armazenando todos os dados coletados.

Entendemos que a utilização da Amazon Web Services seria de grande apoio para toda a prestação de serviços e a construção de
produtos da empresa, desde o processamento de dados para nossos clientes até a execução de processos de enriquecimento de dados e extração de informações.

Atualmente toda a nossa arquitetura é construída em cima da AWS. Utilizamos o Amazon Elastic Compute Cloud (Amazon EC2) para prover os servidores executando todo o processamento de dados realizado pela empresa, o Amazon Elastic Block Store (Amazon EBS) para armazenamento de dados, o Amazon Simple Queue Service (Amazon SQS) que realiza a parte de mensagem dos
processos e aplicações e também o Amazon Simple Notification Service (Amazon SNS) para envio de notificações relacionadas com processos. Também utilizamos os serviços de .NET, com as APIs fornecidas pela Amazon Web Services.

Abaixo está o diagrama de nossa solução utilizando os serviços da Amazon Web Services:

Primeiramente, nós tivemos a ideia do produto a ser construído e entendemos, após diversas análises, que seria inviável se não
houvesse a adoção dos serviços da AWS. Durante aproximadamente um mês, construímos a primeira versão dos processos e da aplicação implantando-a na Nuvem da AWS e durante mais quatro meses seguimos um caminho que nos levou à versão
final da arquitetura de solução que utilizamos hoje.

A implementação dos serviços AWS possibilitaram a construção do produto. Sem a utilização destes serviços, teria sido impossível para a empresa e executar os processos de captura e coleta de informações necessárias para viabilizar o produto construído. Hoje contamos com três dos maiores meios de pagamento do Brasil como clientes, tudo isso devido ao uso da Nuvem da AWS. Para medir os benefícios do uso da AWS, realizamos uma comparação dinâmica do quanto estaríamos gastando caso optássemos por internalizar os servidores, ou seja, comprar os servidores e mantê-los dentro da própria empresa. O processo estruturado com os serviços AWS representou para a empresa uma economia da ordem de R$ 300 mil em comparação com a aquisição interna de servidores. Ele roda semanalmente realizando a captura de 2 a 3 milhões de sites completos (alguns bilhões de páginas) em um período de, no máximo, três dias.

O processo emprega uma instância “x-large” para orquestrar o trabalho, e entre 200 e 500 instâncias spot para realizar a captura de informações. A sincronização das tarefas é realizada através de três filas do Amazon SQS: uma para envio das tarefas, uma para gravação dos resultados, e uma última fila de controle.

Também diminuímos o nosso investimento em bens de capital (CAPEX) para zero. No caso de uma solução convencional, o custo seria de pelo menos R$ 200 mil. Quanto ao custo de propriedade, economizamos em média R$ 1,00 a cada 1 minuto e meio de operação do sistema por empregar a AWS. Essa estimativa está baseada no que seria o custo de aquisição dos servidores necessários para execução do processo (200 servidores à US$ 1 mil amortizados em cinco anos), mais o custo de infraestrutura e da equipe de suporte para manutenção desse ambiente.

Aprendemos muito durante o processo de desenvolvimento, mas algumas coisas em particular saltam a nossa mente.

Primeiro, é muito importante saber alavancar a complementariedade dos serviços da Amazon Web Services. Eles funcionam muito bem juntos, e possibilitam grandes simplificações de arquitetura. Segundo, o apoio da equipe da AWS foi ótimo. A nossa tendência é sempre querer fazer as coisas sozinhos, mas o pessoal nos deu sugestões que viabilizaram o processo de uma forma melhor do que imaginávamos ser possível.

Finalmente, as economias possibilitadas pela AWS são fantásticas. Durante o próprio processo de desenvolvimento a AWS realizou uma redução de preços que cortou significativamente nossos custos. Se estivéssemos com uma estrutura interna, essa redução de custos jamais seria possível.

O que nós mais gostamos na AWS, é a filosofia de varejo para o mercado de computação que nos possibilita construir coisas que
jamais seriam possíveis em um modelo convencional ou mesmo com outros provedores.

Como planos futuros, possuímos diversos projetos que estão em andamento e que utilizam, ou irão utilizar, os serviços da Amazon Web Services. Estamos à frente de um grande projeto que envolver o armazenamento de dados dentro do Glacier (da ordem de 25TB), além de outros projetos menores”.

E este foi mais um estudo de caso de uso da Nuvem da AWS. Aproveite também para nos contar a sua história, entre em contato conosco!