Como o cloud computing vem transformando os mega datacenters

Ultimamente, lemos muita coisa sobre a NSA (National Security Agency) dos EUA estar acessando servidores dos grandes provedores de serviços na Internet. Muita água ainda vai rolar até que o caso esteja adequadamente esclarecido e saia do campo da especulação, mas o tema me abriu os olhos para um fenômeno que estas empresas criaram: os mega datacenters.

Estes imensos mega datacenters são bem diferentes dos tradicionais datacenters que conhecemos, mesmo os da maioria dos grandes bancos e indústrias. Um mega datacenter tem, no mínimo, 15 mil servidores e custou pelo menos uns US$ 200 milhões para ser construído.

Eles têm uma característica em comum: automação (leia-se modelo de cloud computing) ao extremo. Podem e escalam massivamente e utilizam poucas pessoas para serem gerenciados. Isto significa que podem adicionar uns mil servidores (ou dezenas de milhares) com um incremento de custo quase negligível.

Seu modelo de operação vai, na minha opinião, se disseminar pelos demais datacenters e incrementar as atenções para o modelo de cloud computing. Os mega datacenters não vão acabar com os datacenters tradicionais – pelo menos em um hoorizonte previsível, pois não foram construídos para workloads de sistemas legados. Foram projetados para workloads típicos da Internet como o Facebook, Google e outros. Lembrando que cloud é essencialmente uma automação no limite, com software gerenciando toda a operação, detetando e recuperando falhas, gerenciando automaticamente a inclusão ou exclusão de novos servidores, instalando de forma automática novas versões de sistemas operacionais e assim por diante.

Um novo servidor é colocado em operação em poucas horas. Seu ritmo de crescimento é fantástico. Cada rodada de entrega pode chegar a mil servidores. Por exemplo, o Facebook tinha aproximadamente 30 mil servidores em 2009 e em fins de 2012 já estava na casa dos 150 mil. O Google, por sua vez, tinha cerca de 250 mil servidores em 2000; 350 mil em 2005 e em 2010 já chegava aos 900 mil. Hoje deve ter mais de um milhão de servidores! Quantas empresas, no mundo tradicional, adquirem lotes de mil servidores de cada vez?

A automação (modelo de cloud) é essencial para operação destes mega datacenters. De maneira geral, nos datacenters tradicionais existe uma relação de um sysadmin para cada 100 a 200 servidores. No Facebook, a relação de um sysadmin para 20 mil servidores. Isto significa que um sysadmin no Facebook faz o trabalho de 100 a 200 profissionais dos datacenters tradicionais. Como a gestão da infra é automatizada, vemos que o principal ator neste processo é o software. O Pinterest, por exemplo, quando tinha 17 milhões de visitantes únicos por mês, mantinha apenas um sysadmin para gerenciar sua nuvem. Custo de pessoal nos mega datcenters nem fica entre os Top 5 itens de custo, diferente dos datacenters tradicionais.

Os serviços prestados por estes mega datacenters e sua economia de escala permitem a criação de novos negócios, inviáveis no modelo tradicional de investimentos upfront. Um exemplo é o Netflix, que gerencia mais de 36 milhões de usuários de vídeo streaming em nuvem pública. Só no primeiro trimestre deste ano entraram mais três milhões de novos usuários. Outras empresas típicas do mundo Internet só puderam crescer da forma que cresceram usando a economia de escala proporcionada pelos mega datacenters, como o Instagram, Zynga, FourSquare e Pinterest.

O Pinterest é um case interessante. Passaram de vinte terabytes de dados armazenados para 350 em apenas sete meses, usando uma cloud em um mega datacenter. No modelo tradicional de aquisição de servidores físicos, seria absolutamente inviável conseguir esta expansão em tempo hábil.

Os investimentos em sua criação são fora da curva. Algumas estimativas apontam que os custos de construção de alguns deste datacenters são fabulosos. Por exemplo, os mega datacenters do Facebook custaram US$ 210 milhões no estado americano do Oregon, chegando US$ 450 e US$ 750 milhões nos outros novos dois, no estado de North Caroline. O da Apple no Oregon custou US$ 250 milhões. O Google não fica atrás: US$ 300 milhões no mega datacenter em Taiwan e US$ 1,9 bilhão no estado de Nova York. A Microsoft, por sua vez gastou US$ 499 milhões no seu mega datacenter na Virgína e a NSA, agência de segurança nacional do governo americano, está construindo um mega datacenter de US$ 2 bilhões no estado de Utah. A grandiosidade deste super-secreto datacenter, voltado para segurança, defesa cibernética  e talvez algo mais, pode ser visto em detalhes neste artigo.

Bem, para que estes mega datacenters são criados? Basicamente para atender ofertas de cloud públicas e de serviços de Internet diretos ao consumidor (B2C). Os investimentos em capex dos mega provedores de cloud é imenso. Estima-se, por exemplo, que o capex do Google alcance o patamar do US$ 1 bilhão por trimestre.

Interessante que os mega datacenters estão criando um novo setor na indústria de TI. De maneira geral, eles não compram servidores dos fornecedores tradicionais, mas utilizam outras fontes, baseados em designs próprios e montagem efetuada em empresas chinesas, como a Quanta Computer. A Quanta, por exemplo, fornece 80% dos servidores do Facebook e é um dos principais fornecedores do Google. Este modelo leva a uma mudança de paradigma. Para os mega datacenters, é muito mais barato trocar de servidor que consertá-lo e, assim, ao vez de comprar máquinas com índice elevados de MTBF (Mean Time Between Failures), preferem máquinas baratas e descartáveis. Se der problema, o software de automação simplesmente coloca o servidor em pane fora do ar e reconecta o serviço em outro, sem intervenção humana. Por outro lado, este é um do motivos atuais que este modelo não pode ser aplicado 100% nos datacenters tradicionais: o software que roda em cima deles, como os serviços públicos do Google, foram desenhados para operarem em perfeita integração com o software de automação. Muito diferente de um ambiente corporativo, onde um SAP não foi projetado para trabalhar de forma integrada com servidores de nenhum fabricante.

Os mega datacenters adotam a fórmula mágica de cloud: virtualização + padronizacão + automação. A padronização facilita esta substituição, pois cada caixa é igual a outra. A mesma versão do sistema operacional e mesma versão do software público está operando em todas as máquinas.

Recentemente, o Facebook abriu sua caixa preta. Descreveu que adota cinco tipos de servidores, um para cada atividade específica. Basicamente, ele divide seus servidores em cinco tipos: os que atendem carga Web, database, Hadoop, Haystack e Feed. Cada um destes serviços demanda configurações diferentes. Por exemplo, um servidor que manuseia fotos e vídeos precisa de mais memória que capacidade computacional. Vale a pena ler este artigo que descreve como o Facebook funciona  internamente.

Os mega datacenters representam o fenômeno da consumerização para o modelo tradicional de data centers. Compram máquinas em volumes gigantescos e estão redefinindo a indústria de servidores base Intel. Um estudo da Intel mostra que, em 2008, 75% dos processadores Intel fabricados para servidores eram destinados aos três grandes IBM, HP e Dell. Hoje, estes 75% estão ditribuídos entre oito fabricantes e curiosamente o Google já é o quinto “fabricante” de servidores do mercado. Realmente, estamos vivenciando uma disrupção e indiscutivelmente o modelo de cloud computing tem muito a ver com estas transformações na indústria.