Hadoop virtualizado pode ser elástico como a nuvem da Amazon

Como resultado as adições do terceiro lançamento de códigos do Projeto Serengeti, agora rodar o Hadoop em nódulos de máquina virtual possibilita expandir ou reduzir o cluster em que ele roda, enquanto toda operação é executada. A nova elasticidade permite atender com mais eficiência aos recursos físicos necessários para cargas de trabalho, sendo que antes era necessário ocupar um cluster físico, estático e standalone, com ou sem necessidade.

O Hadoop é um sistema de gerenciamento de arquivo distribuído, baseado no MapReduce e no sistema de arquivo HDSF, ambos projetados para explorar grandes clusters de hardware x86. A plataforma é famosa pela quantidade de gigabytes de dados com que é capaz de lidar por vez e, por isso, pode servir como um sistema de host para operações de análise de big data↳Big data16 conteúdosResolvendo desafios de Big Data com Ciência de Dados na UberData · abr 2019Segurança “Data-Driven”: como big data e IA estão redefinindo a detecção de ameaças em tempo realDevSecOps · jan 2026USP lança MBA em Inteligência Artificial e Big DataAI · mar 2024Ver tudo em Data →.

Com as adições de códigos do Serengeti, os clusters Hadoop ganharam algumas características operacionais, como a possibilidade de converter um cluster em um host multitenant, assumindo outros aplicativos de gerenciamento de dados, como sistema de banco de dados relacionado in-memory ou sistema de gerenciamento de dados NoSQL, como o Cassandra ou MongoDB. Esses tipos de uso geram, em momentos diferentes, outra demanda no cluster, dando a um sistema pesado de gerenciamento de dados virtualizado uma taxa de utilização mais alta de recursos físicos do que sistemas de dados isolados.

O terceiro lançamento de código do Serengeti foi feito por Richard McDougall, principal engenheiro da VMware, na Conferência Strata de gerenciamento de dados da O’Reilly e no Hadoop World, que aconteceu entre os dias 23 e 25 de outubro, nos Estados Unidos.

As versões em código aberto↳Open source71 conteúdosComo o Open Source Está Liberando o Poder da Automação para TodosDev (Back & Front) · out 2025Código aberto: programadores criam software da NASA sem saberDev (Back & Front) · abr 2021N8N: O que é a ferramenta open source que está revolucionando a automação em TI?Dev (Back & Front) · dez 2025Ver tudo em Dev (Back & Front) → do Hadoop já existem via Apache Software Foundation, com versões comerciais adicionadas pela Cloudera, Hortonworks e Greenplum. Entretanto, nesses formatos, o Hadoop roda em clusters de servidores físicos, e a VMware sabe que pode ampliar o mercado para virtualização se o Hadoop também puder ser implementado como um sistema virtual. O Serengeti não compete com as versões anteriores da plataforma, em vez disso, busca permitir que todas rodem em máquinas virtuais.

Caso o Hadoop rode em clusters virtuais em vez de físicos, o número de servidores necessários dedicados seria reduzido, e aumentaria o acesso às suas capacidades de gerenciamento de informações por cientistas de dados em empresas e universidades, assim como aumentaria o acesso por gerentes de TI, oferecendo uma “infraestrutura comum para rodar muitas cargas de trabalho de big data”, disse McDougall em seu blog.

Apesar das vantagens, há motivos pelos quais o Hadoop raramente roda como sistema virtualizado. De certa forma, ele reverte o problema mais comum de virtualização de data center – fazer com que um servidor aja como vários. Em vez disso, o Hadoop virtualizado precisa de muitos servidores para agir como um sistema único. Para isso, ele deve se reconhecer enquanto roda em servidores virtuais e lidar com suas operações de forma correspondente. O servidor JobTracker em um cluster Hadoop usa MapReduce para distribuir tarefas pelo cluster, depois de consultar o servidor central NameNode para saber onde o dado necessário para uma tarefa está localizado. Ele envia a tarefa para o nódulo com o dado, ou o mais próximo que puder chegar do nódulo de dado, acelerando a execução da tarefa.

As tarefas finais de separação de arquivos do Hadoop são executadas por nódulos de cluster com lógica de tempo de execução (task tracker) e armazenamento de dados. Ao virtualizar o Hadoop, os servidores de armazenamento de dados e execução de tarefas podem ser iniciados em máquinas virtuais separadas. Além disso, eles podem ter tamanhos definidos separadamente, mas essas máquinas virtuais, em muitos casos, podem ser localizadas no mesmo servidor físico, mantendo a velocidade da comunicação entre elas.

Isso permite a criação de um código que reconheça quando mais servidores virtuais são necessários ou quando os servidores virtuais são pouco utilizados e alguns deles podem ser desativados. Também permite que uma função seja isolada de outra, para que uma falha não congele todas as funções em um servidor. Uma função problemática pode ser superada com a ativação de uma máquina virtual substituta.

“Estamos abraçando completamente os recursos virtuais como suporte ao Hadoop, permitindo que Hadoop adicione ou remova nódulos virtuais dinamicamente”, escreveu McDougall na publicação em seu blog. “Isso nos dá a capacidade de rapidamente aumentar ou diminuir um cluster Virtual Hadoop, com base nas mudanças de necessidade dessa mistura de aplicativo e usuário”, completou.

O Hadoop pode rodar através da interface de usuário com contribuição comunitária, que os desenvolvedores Serengeti incorporaram ao terceiro código Serengeti. De acordo com McDougall, ele também possui interface para upload e download, auxiliando a importação (ou exportação) de dados em fontes externas.

Com informações de Information Week