De 2011 a 2025: como o Booking.com desligou o Hadoop e repensou sua arquitetura de dados

- Leitura
- 8 min
- Fontes
- 1
Em palestra no QCon London, o engenheiro principal Jabez Eliezer Manuel destrinchou duas décadas de evolução de dados e machine learning no Booking.com, da migração MySQL ao fim do Hadoop e à base para agentes de IA.
Duas décadas em três camadas
Numa palestra no QCon London, Jabez Eliezer Manuel, Principal Engineer do Booking.com, reconstruiu vinte anos de evolução da plataforma de dados e machine learning↳Machine learning39 conteúdosClassificador de Sentimentos – Azure MLData · abr 2019Inteligência Artificial e Machine Learning: O que você precisa saberAI · fev 2024Inteligência Artificial: seminário online da USP debate o futuro do aprendizado de máquinaGestão Dev & TI · jun 2021Ver tudo em AI → da empresa. Manuel soma duas décadas de engenharia de software, passou a última década em problemas de personalização de busca de baixa latência e ledgers unificados de pagamento, e hoje lidera a infraestrutura de memória de longo prazo para sistemas agênticos de IA no Booking.com.
Ele estruturou a fala em três camadas: gestão de dados, engenharia de ML e inteligência de domínio. É a camada de dados, e sobretudo o fim de uma era inteira de Hadoop, que rende as lições mais diretas para quem mantém sistemas em produção no Brasil.
De Postgres a um cluster de MySQL gigante
O Booking.com começou com Perl e Postgres↳PostgreSQL11 conteúdosPostgreSQL via SSL com GolangData · abr 20195 itens legais sobre data types do PostgreSQLData · mar 20195 serviços gratuitos na cloud para bancos de dados PostgresData · fev 2025Ver tudo em Data →. A troca para MySQL veio cedo, puxada pela replicação assíncrona. Em 2005 a topologia era um master e quatro slaves; quinze anos depois, a empresa operava um dos maiores clusters MySQL do mundo, com cerca de 7.000 instâncias gerenciadas pelo Orchestrator, ferramenta de replication management nascida dentro da própria Booking.
A escala só foi sustentável com automação pesada: a cada 60 dias, as 7.000 instâncias são desprovisionadas e reprovisionadas, o que significa uma ação de infraestrutura a cada três minutos, volume que nenhum time humano sustentaria manualmente.
As decisões de engenharia por trás do MySQL do Booking.com chamam atenção pelo que descartam: nada de hardware especializado, nada de stored procedures, UDFs, views ou camada de cache. O segredo era manter os bancos pequenos (limite soft de 2 terabytes, hard de 10 terabytes) para caberem no storage rápido do próprio servidor, usando o MySQL efetivamente como cache. Resultado: consultas pontuais abaixo de 350 microssegundos, competindo com engines de memória.
Em vez de manter um fork interno do MySQL, como tinham expertise para fazer, o time optou por contribuir upstream. A replicação baseada em GTID, hoje padrão no MySQL, nasceu de uma proposta de design feita pelo próprio Booking.com.
Quando machine learning era Perl e cron
Antes de qualquer plataforma de ML, a inteligência do Booking.com rodava em scripts Perl com bibliotecas estatísticas do CPAN, disparados por cron. A estratégia de deploy, nas palavras de Manuel, era "copiar o script e rezar". Ainda assim, resolvia problemas reais: detecção de fraude, forecasting de demanda com regressão e recomendações com KNN.
Hadoop entra em 2011, sai só em 2025
Com o crescimento dos dados, o MySQL não bastava. Em 2011 o Booking.com montou dois clusters Hadoop on-premise redundantes, com a pilha clássica HDFS, YARN e MapReduce, mais Oozie para orquestração, Spark para workflows, Hive para SQL e Sqoop para mover dados entre MySQL e Hadoop. Os dados chegavam via jobs noturnos do MySQL e via Kafka Connect.
Até real-time prediction era, na prática, batch disfarçado: para um modelo simples de dispositivo e país prevendo probabilidade de reserva, o time enumerava todas as combinações possíveis de features, pré-calculava as predições offline e salvava o resultado numa tabela MySQL. Quando a requisição chegava, o sistema só consultava a tabela como se estivesse prevendo em tempo real.
O Hadoop sustentou boa parte do pipeline por anos, mas acumulou problemas: ambiente compartilhado entre treino e produção, mono-versão forçada para todos os cientistas de dados, zero suporte a GPU, sincronização dolorosa entre dois data centers, capacidade operando perto do limite, "vizinhos barulhentos" capazes de travar o cluster com uma query mal escrita, e nenhuma camada de descoberta ou ownership dos dados, mesmo com times dependendo uns dos outros o tempo todo.
No pico, a escala chegou a centenas de petabytes, 190.000 tabelas Hadoop e mais de 7.000 workflows espalhados por centenas de times.
Em resumo: o Booking.com identificou o problema do Hadoop em 2018, mas levou até 2022 para colocar o sistema em modo manutenção e mais três anos para desligá-lo de vez, em 2025.
O motivo do atraso explica muito sobre migrações grandes:
- 2018: primeira tentativa de migrar para a nuvem é interrompida; motivo, dependendo de quem conta, é custo ou mudança de estratégia;
- Nos anos seguintes: o time constrói ferramentas internas para aliviar a dor, como um catálogo de dados ao lado do próprio Hadoop e clusters Kubernetes↳Kubernetes18 conteúdosGerenciamento de infraestrutura multicloud com Kubernetes proporciona otimização e economiaDevSecOps · set 2021Azure Kubernetes Services – AKS: referências gratuitas e dicas para solução de problemas comunsDevSecOps · abr 2019Kubernetes em produção: o que ninguém te conta e você aprende tarde demaisDev (Back & Front) · abr 2026Ver tudo em DevSecOps → para rodar Spark;
- Depois: um projeto de modernização foca em qualidade, ownership e governança de dados, sem ainda migrar a infraestrutura;
- Nesse período: uma segunda tentativa com outro provedor de nuvem mostra resultados promissores, mas não o suficiente para justificar a migração completa;
- 2023: a liderança decide ir all-in, sem plano B, e a migração inteira acontece em um ano e meio.
Como migrar sem travar a empresa
A virada de 2023 funcionou por um método específico. Primeiro, o time mapeou cada tabela e cada dependência de workflow num grafo único, o que Manuel chamou de "mapear o universo". Depois, cruzaram esse grafo com análise de uso real para descobrir o que era de fato crítico para o negócio.
A melhor ferramenta de arquitetura é a tecla Delete.
Jabez Eliezer Manuel, Principal Engineer no Booking.comThe best architectural tool is the Delete key.
A frase resume o resultado: 92% dos workflows não passaram no teste "alguém se importa com isso" e foram simplesmente apagados. Só depois dessa limpeza o time aplicou análise de grafos para priorizar o que restava por centralidade e impacto, migrando em lotes e indo desligando o legado aos poucos.
Uma peça central do processo foi um painel de comando unificado que concentrava o grafo de dependências: qualquer engenheiro migrando um workflow podia ver ali quando suas dependências seriam migradas e planejar o próprio trabalho. Isso substituiu planilhas de controle e o conhecimento tribal que até então ditava o ritmo da migração.
As quatro lições que o Booking.com mandaria ao próprio passado
Manuel resumiu o aprendizado em quatro recomendações, válidas para qualquer time que acumula dados e workflows ao longo dos anos:
- Catalogar todo ativo de dados e workflow, sem exceção;
- Estabelecer ownership claro, de negócio e técnico, para cada dado;
- Construir quality gates antes de compartilhar dados entre times;
- Rastrear a linhagem (lineage) de ponta a ponta.
De predição em lote a bilhões de inferências por dia
A camada de ML seguiu um ritmo parecido de maturação. Depois do Perl com MySQL, o Hadoop trouxe análise de big data; Oozie com Python↳Python56 conteúdosVSCode + Python + Alexa: Desenvolva e teste skills para alexa localmente com pythonDev (Back & Front) · out 2025Dominando decoradores em Python: um guia completo com exemplosDev (Back & Front) · jan 2025Desenvolvimento de software: diferenças entre Python, JavaScript e JavaGestão Dev & TI · nov 2024Ver tudo em Dev (Back & Front) → e scikit-learn deu início ao ML de verdade; o Spark acelerou o processamento; o H2O permitiu treinar mais rápido e, pela primeira vez, rodar modelos direto em qualquer ambiente Java. Em 2017, deep learning entrou pela porta de um hackathon interno para melhorar a qualidade de imagens e, a partir daí, se espalhou pela empresa. Em 2023 veio a onda de LLMs e produtos generativos; em 2025, as primeiras fundações de sistemas agênticos.
2015 foi um ano decisivo, segundo Manuel, porque resolveu de vez o problema da predição em tempo real. Num hackathon, o time construiu um pequeno serviço em Scala apoiado em storage para servir modelos. Cientistas de dados subiam o modelo como um arquivo CSV com as features usadas, seus tipos e os pesos. Em produção, um serviço de backend coletava as features necessárias e usava um SDK em Perl para chamar o serviço Scala.
Esse serviço evoluiu até virar a plataforma de model serving atual, hoje suportando mais de 12 formatos de modelo diferentes. Ela roda em múltiplos clusters: alguns de propósito geral e multi-tenant, outros dedicados a cargas críticas, outros voltados a processamento em lote. Os clusters tanto hospedam modelos próprios quanto conversam com modelos hospedados externamente, como no SageMaker, além de acessar um feature store central. Um proxy customizado esconde essa complexidade dos times consumidores, e cada predição feita é logada para o data lake e para as plataformas de monitoramento. Segundo o resumo da própria palestra, essa infraestrutura hoje sustenta até 400 bilhões de predições por dia.
O que ainda fica em aberto
O material disponível da palestra cobre em detalhe a camada de dados e o início da camada de ML, mas é cortado antes da parte sobre personalização, experimentação interleaved e a nova fundação agêntica de IA do Booking.com, temas que o resumo oficial da talk promete, mas sem detalhamento técnico acessível aqui. Vale acompanhar o vídeo completo no InfoQ para quem quiser essa parte da história.
O que isso significa para quem escala sistemas no Brasil
A cultura de experimentação do Booking.com é o ponto mais replicável fora do contexto de big tech: a empresa roda mais de 1.000 experimentos simultâneos a qualquer momento, já passou de 150.000 experimentos no total, e menos de 25% deles dão certo. A meta declarada nunca foi acertar de primeira, e sim aprender rápido, o que elimina debates intermináveis de opinião e substitui por teste.
Para times que ainda carregam um Hadoop, um data lake ou qualquer stack legado sem dono definido, o roteiro do Booking.com é quase um manual: mapear dependências antes de migrar qualquer coisa, medir uso real antes de decidir o que vale a pena manter, e aceitar que apagar 92% do que existe pode ser mais produtivo que modernizar tudo. A decisão de contribuir upstream para o MySQL em vez de manter um fork interno também é um lembrete direto: ferramenta de infraestrutura que vira projeto open source espalha o custo de manutenção, em vez de prendê-lo dentro de um único time.
Fonte: InfoQ
Highlights
- Booking.com operou um dos maiores clusters MySQL do mundo com 7.000 instâncias gerenciadas pelo Orchestrator
- 92% dos workflows Hadoop foram deletados por não terem consumidores reais identificados
- A empresa roda mais de 1.000 experimentos simultâneos e acumula 150.000 no total; menos de 25% dão certo
- Migração de Hadoop para nuvem levou 7 anos entre identificação do problema e conclusão total
- Plataforma atual de model serving sustenta 400 bilhões de predições por dia em múltiplos formatos
Este artigo foi escrito por Redação iMasters. Conteúdo produzido por agente de IA da redação iMasters, sob revisão editorial humana. Saiba como produzimos no expediente.
Google isola conversas de IA na Busca para não contaminar histórico nem personalização
A partir de 18 de novembro de 2026, o AI Mode do Google Search ganha threads temporárias: a conversa some sem entrar no histórico nem influenciar anúncios e recomendações futuras.














