Facebook abre código fonte do Corona, sua extensão para agendamento do Hadoop

O Facebook abriu o código fonte do projeto Corona, sua extensão para agendamento de processos MapReduce no Hadoop.

A extensão separa duas tarefas críticas de gerenciamento de clusters e rastreamento de tarefas, e é conceitualmente similar ao Apache YARN, que também é uma versão melhorada do agendador e gerenciador de recursos do Hadoop. A equipe de engenheiros do Facebook publicou um artigo explicando o funcionamento interno do Corona, além de esclarecer o motivo de não reutilizar o YARN:

Consideramos utilizar o Apache YARN como alternativa ao Corona. Entretanto, depois de investigar o uso do projeto com nossa versão do HDFS (um requisito fundamental, devido aos nossos vários petabytes de dados históricos), descobrimos muitas incompatibilidades que seriam proibitivas em termos de tempo e que seriam arriscadas de corrigir. Além disso, também não se sabe se o YARN seria capaz de trabalhar com o volume de demanda exigido pelo Facebook.

Entre as principais diferenças na versão do Hadoop do Facebook está o AvatarNode, que cria um sistema de redundância hot-standby para cada nó no cluster. Isso proporciona um NameNode com alta disponibilidade e até possibilita atualizações de software sem indisponibilidade. É um aspecto crítico para a empresa, que atualmente executa centenas de processos de petabytes de dados em seu datawarehouse, com meio petabyte de novos dados chegando diariamente.

Atualmente, o Corona pode executar tarefas MapReduce, mas o Facebook também pretende utilizá-lo para agendar a execução de outros tipos de aplicações, como o Peregrine.

Com informações de InfoQ