Cloudflare mal configurado pode derrubar seu ranking no Google

Um alerta publicado por Barry Schwartz no Search Engine Roundtable coloca o dedo numa ferida cada vez mais comum: proxies e WAFs como o Cloudflare, quando mal configurados, conseguem derrubar o ranking de um site no Google da noite para o dia. Não é um bug do algoritmo nem uma penalização, é o próprio site fechando a porta na cara do rastreador, muitas vezes sem que a equipe perceba.

O cenário é traiçoeiro justamente porque o sintoma se parece com um core update: as posições despencam, páginas somem do índice e o tráfego orgânico evapora. Só que a causa está numa caixinha marcada no painel de segurança, não no Google.

O que aconteceu nos casos citados

A fonte reúne dois relatos concretos do LinkedIn. No primeiro, Jonathan Bird conta que precisou consertar um site cujo tráfego ficou "tancado" por duas semanas. Segundo ele, o provedor de TI terceirizado ativou o crawl control do Cloudflare para barrar todos os bots. O efeito em cascata foi brutal: bloqueou o Googlebot por completo, quebrou as campanhas do Google Ads (que, nas palavras dele, "continuaram cobrando alegremente"), fez sumir as listagens do Merchant Center e removeu o site dos resultados orgânicos. Bird descreve a mudança como um erro "fácil de cometer, mas catastrófico", e diz que o negócio só estava começando a se recuperar quando ele escreveu o relato.

O segundo caso, relatado por Brodie Clark, mostra um trade-off mais dramático. Um marketplace online estava sob carga pesada de bots que ameaçavam derrubar os servidores. A equipe precisou impor restrições de acesso no nível do firewall só para manter o site de pé, e isso, nas palavras dele, "destruiu o SEO↳SEO4 conteúdosPor que a transição do SEO clássico para a Otimização de Motores Generativos (GEO) exige que se repense a modelagem semânticaMarketing Tech · mai 2026O impacto da pesquisa e do SEO no comércio eletrônico: insights da State of Search Brasil 5Marketing Tech · fev 2025SEO por Elas 2025: Impulsionando e promovendo mulheres no Marketing DigitalMarketing Tech · fev 2025Ver tudo em Marketing Tech →". Aqui não houve descuido: foi uma escolha entre ficar fora do ar ou ficar fora do índice. Clark ressalta que, embora o gráfico se parecesse com o efeito de um core update ou de um spam update, a causa era outra.

Por que isso acontece por baixo

O Cloudflare fica na frente do servidor de origem, interceptando cada requisição antes de ela chegar ao seu backend↳Back-end49 conteúdosIntegração front-end com backend: 7 decisões que evitam caos entre APIs, BFF e GraphQLDev (Back & Front) · abr 2026Como criar uma FAKE API REST para testes — JSONPlaceholderDev (Back & Front) · set 2025Construindo um aplicativo de bate-papo de IA simples com Spring AI e AngularDev (Back & Front) · jul 2025Ver tudo em Dev (Back & Front) →. Quando você liga uma regra que barra bots, ela é aplicada a qualquer user-agent que a plataforma classifique como automatizado, e o Googlebot é, tecnicamente, um bot.

O ponto que confunde muita gente é a diferença entre bloquear o rastreamento e bloquear a indexação:

• Uma diretiva Disallow no robots.txt pede educadamente para o Google não rastrear, mas o Google ainda pode manter a URL no índice se houver links apontando para ela.
• Um bloqueio no firewall ou no WAF devolve um erro de acesso (403, 503, um desafio de CAPTCHA ou um JavaScript challenge). O Googlebot não vê o conteúdo, apenas o erro. Depois de encontrar isso repetidamente, o Google conclui que a página não está mais acessível e a remove do índice.

É por isso que o estrago do Cloudflare tende a ser mais rápido e mais severo do que um robots.txt mal escrito: você não está pedindo para não rastrear, está devolvendo uma parede.

Schwartz lembra que o problema não é novo. Há mais de vinte anos ele já via sites se autobloqueando por regras de Apache ou robots.txt mal configurado. O que mudou é a quantidade de camadas: hoje há CDN, WAF, regras de firewall, proteção anti-DDoS e recursos específicos anti-IA↳Inteligência artificial440 conteúdosUX e IA: Transformando Experiências Digitais com Inteligência ArtificialProduto & UX · jan 2025MCP: O que é e por que você vai ouvir falar disso em breve?AI · jul 2025IA generativa e a urgência de reconstruir nossa relação com a verdadeAI · jun 2025Ver tudo em AI →, todos com botões que parecem inofensivos e que podem barrar rastreadores legítimos sem aviso claro.

Onde o dev brasileiro se enrola

O detalhe que torna isso especialmente perigoso no Brasil é a popularização dos recursos anti-IA. Com a explosão de crawlers de LLMs raspando conteúdo, o Cloudflare passou a oferecer bloqueios de bots de IA quase como padrão, e muita equipe ativa "bloquear todos os bots de IA" achando que está só protegendo o conteúdo contra treinamento de modelo.

O risco é duplo. Primeiro, algumas dessas regras genéricas acabam pegando o Googlebot ou o Bingbot no laço. Segundo, e mais estratégico para quem pensa em GEO (otimização para buscadores generativos): bloquear crawlers como o OAI-SearchBot ou o Google-Extended de forma indiscriminada pode tirar seu conteúdo das respostas do ChatGPT e do AI Overviews. Nem todo bot de IA é igual, e tratar todos como ameaça é jogar fora tráfego de descoberta que hoje já não vem só da busca tradicional.

Como medir e diagnosticar

A recomendação de sempre vale aqui: não confie na intuição, meça o antes e o depois. Se o tráfego caiu de repente:

• Search Console, relatório de indexação de páginas. Se surgir um pico de páginas com status de bloqueio, erro de servidor (5xx) ou "não indexada", suspeite da camada de infraestrutura antes de culpar o algoritmo.
• Teste de URL ao vivo no Search Console. Ele mostra o que o Googlebot realmente recebe. Se você vê a página no navegador mas o teste retorna erro ou uma tela de challenge, o problema está no proxy.
• curl simulando o Googlebot. Um comando simples como curl -A "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" -I https://seusite.com.br/ revela se o servidor devolve 200 ou um 403/503 para o user-agent do Google.
• Logs do servidor e analytics do Cloudflare. Uma queda abrupta no volume de requisições do Googlebot nos logs é o sinal mais direto de que o rastreamento foi cortado.

O diagnóstico diferencial importa: um core update mexe nas posições mas mantém as páginas indexadas; um bloqueio de rastreamento faz as páginas saírem do índice. São curvas diferentes no gráfico.

Quando o bloqueio é o mal necessário

O caso do marketplace de Brodie Clark é o lembrete honesto de que nem sempre dá para simplesmente liberar tudo. Se bots abusivos estão derrubando o servidor, um site fora do ar rankeia ainda pior do que um site que perdeu posições. A saída não é o bloqueio geral, e sim a regra cirúrgica:

• Use listas de allow para os rastreadores que importam (Googlebot, Bingbot, e os bots de IA que você quer nas respostas generativas), validando por reverse DNS em vez de só pelo user-agent, que é falsificável.
• Aplique rate limiting em vez de bloqueio binário, para conter o abuso sem fechar a porta.
• Documente qualquer mudança no WAF junto com quem cuida de SEO. O erro relatado por Bird nasceu de um provedor de TI que mexeu numa configuração sem falar com quem entende do impacto orgânico.

A lição prática que fica dos dois casos é organizacional tanto quanto técnica: segurança e SEO precisam conversar. A pessoa que aperta o botão "bloquear bots" raramente é a mesma que vai explicar para a diretoria por que o faturamento despencou.

Fonte: Search Engine Roundtable