Google detalha o que Google-Extended, GoogleOther e Googlebot controlam no robots.txt
A documentação do Google Search Central, atualizada em 30 de outubro de 2026, separa com clareza o que cada user-agent de crawler faz. A confusão mais comum, entre Googlebot e Google-Extended, pode custar caro a quem configura robots.txt sem entender a diferença.

- Leitura
- 6 min
- Tabelas
- 1
- Código
- 1
- Fontes
- 1
A documentação do Google Search Central, atualizada em 30 de outubro de 2026, separa com clareza o que cada user-agent de crawler faz. A confusão mais comum, entre Googlebot e Google-Extended, pode custar caro a quem configura robots.txt sem entender a diferença.
Nota da redação: a documentação oficial citada neste artigo não menciona o recurso AI Overviews em nenhum momento. A relação específica traçada na seção abaixo, de que bloquear Google-Extended sozinho não tira o site do AI Overviews e de que sair desse recurso exigiria bloquear o Googlebot inteiro, é uma inferência lógica do autor a partir de como a Busca funciona, não uma afirmação verificável na fonte oficial apresentada. O restante do mapeamento de user-agents no artigo foi confirmado na documentação do Google.
A documentação do Google Search Central, atualizada em 30 de outubro de 2026 segundo o rodapé do próprio documento, consolida numa única tabela os user-agents que o Google usa para rastrear a web. A lista não é nova em si, mas o nível de detalhe sobre qual produto cada token afeta é o que importa agora para quem decide o que entra ou sai do robots.txt. Isso vale tanto para SEO↳SEO4 conteúdosPor que a transição do SEO clássico para a Otimização de Motores Generativos (GEO) exige que se repense a modelagem semânticaMarketing Tech · mai 2026O impacto da pesquisa e do SEO no comércio eletrônico: insights da State of Search Brasil 5Marketing Tech · fev 2025SEO por Elas 2025: Impulsionando e promovendo mulheres no Marketing DigitalMarketing Tech · fev 2025Ver tudo em Marketing Tech → tradicional quanto para GEO: otimizar para IA generativa↳IA generativa81 conteúdosIA Generativa: 5 alternativas para começar a usar em 2025AI · jan 2025Gartner Revela o Futuro da IA GenerativaAI · jul 2024IA Generativa: Pesquisa global aponta Brasil como segundo país mais otimista com a tecnologiaAI · mar 2024Ver tudo em AI →.
O ponto central para quem mexe em robots.txt esta semana é simples de enunciar e fácil de errar na prática: nem todo crawler de IA do Google é a mesma coisa, e bloquear o errado não produz o efeito que o time imagina. A tabela abaixo resume o que a documentação confirma, produto por produto.
| User-agent (robots.txt) | O que ele afeta se bloqueado |
|---|---|
Googlebot | Busca completa (Discover, Imagens, Vídeo, Notícias) |
Googlebot-Image | Google Imagens, Discover, modo vídeo |
Googlebot-News | Google Notícias (news.google.com e o app) |
Storebot-Google | Google Shopping e a aba Shopping na Busca |
Google-InspectionTool | Apenas ferramentas de teste (Rich Result Test, inspeção de URL) |
GoogleOther | Nenhum produto específico; pesquisa interna do Google |
GoogleOther-Image / GoogleOther-Video | O mesmo que GoogleOther, mas para imagens e vídeos |
Google-CloudVertexBot | Agentes do Vertex AI solicitados pelo próprio dono do site |
Google-Extended | Treinamento de modelos Gemini e grounding (Gemini Apps, Vertex AI API para Gemini) |
Google-Extended não tira seu site da Busca, nem do AI Overviews
Aqui está a confusão que mais aparece em checklists de SEO mal informados: achar que bloquear Google-Extended remove o conteúdo do AI Overviews. A documentação é direta ao afirmar que esse token controla apenas duas coisas: se o conteúdo rastreado pode treinar futuras gerações de modelos Gemini, e se ele pode ser usado em grounding, quando a resposta de um modelo busca contexto no índice de busca no momento do prompt para melhorar precisão.
O texto da fonte fecha a dúvida sem deixar margem: Google-Extended não afeta a inclusão de um site na Busca, nem funciona como sinal de ranqueamento. Como o AI Overviews é um recurso dentro da própria Busca, construído sobre o índice que o Googlebot alimenta, bloquear Google-Extended sozinho não impede que um trecho do site apareça resumido ali. Quem quer sair do AI Overviews por completo só tem uma alavanca real, que é bloquear o Googlebot, e isso custa a indexação inteira, não só o recurso de IA.
GoogleOther é o crawler genérico que pode ser usado por diferentes equipes de produto do Google para buscar conteúdo publicamente acessível dos sites.
No original: GoogleOther is the generic crawler that may be used by various product teams for fetching publicly accessible content from sites.
Fonte: Google Search Central — Overview of Google crawlers and fetchers (user agents)GoogleOther e Google-CloudVertexBot: bloquear não derruba nada visível
A documentação descreve GoogleOther em termos que valem a pena citar diretamente, porque explicam por que ele costuma aparecer em log de servidor sem gerar nenhum efeito perceptível quando é liberado ou bloqueado:
O GoogleOther é o crawler genérico que pode ser usado por diferentes equipes de produto do Google para buscar conteúdo publicamente acessível dos sites.
Google Search Central, documentação oficialGoogleOther is the generic crawler that may be used by various product teams for fetching publicly accessible content from sites.
Na prática, isso significa que GoogleOther serve para pesquisa interna e experimentos pontuais de equipes do Google, sem vínculo com um produto fixo. O mesmo raciocínio vale para Google-CloudVertexBot: ele só roda quando o próprio dono do site contratou um agente no Vertex AI, e a documentação confirma que não tem efeito sobre a Busca ou qualquer outro produto. Bloquear os dois no robots.txt é uma decisão de baixo risco para quem só se importa com Busca e AI Overviews.
O checklist de teste antes/depois
Antes de editar robots.txt em produção, vale rodar uma sequência curta que separa intenção de efeito real:
- Audite o
robots.txtatual linha por linha e marque qual token está em cada regra, sem presumir que "bloquear IA" é uma regra única. - Separe os objetivos: manter indexação na Busca (
Googlebot) é uma decisão; opinar sobre treinamento de Gemini (Google-Extended) é outra; nenhuma das duas mexe em Shopping (Storebot-Google) ou em agentes Vertex (Google-CloudVertexBot). - Revise a sintaxe das regras antes de publicar, e use a ferramenta de inspeção de URL no Search Console para confirmar que
Googlebotainda enxerga as páginas que importam. - Cruze os logs do servidor filtrando por user-agent; a documentação recomenda usar curinga no trecho
Chrome/W.X.Y.Z, já que esse número de versão muda com o Chromium que oGooglebotusa internamente. - Compare a cobertura de indexação no Search Console antes e depois da mudança, para confirmar que só o comportamento esperado (treinamento de IA, por exemplo) foi afetado, sem queda de páginas indexadas.
O passo que falta, e que nenhum painel resolve hoje, é medir o efeito de Google-Extended isoladamente: na nossa leitura, não existe relatório público que confirme se o bloqueio excluiu o conteúdo do próximo ciclo de treinamento do Gemini, já que esse ponto não é tratado pela documentação oficial. A confirmação depende de uma promessa de política declarada pela empresa, não de um dado auditável no Search Console.
Blocos de robots.txt prontos para adaptar
Para quem quer manter indexação total na Busca (incluindo AI Overviews), mas optar por fora do treinamento e do grounding do Gemini, a combinação mínima é:
User-agent: Googlebot
Allow: /
User-agent: Google-Extended
Disallow: /
User-agent: GoogleOther
Disallow: /Esse bloco libera o crawler que sustenta a Busca, bloqueia o uso do conteúdo em Gemini e remove o tráfego de pesquisa interna sem produto definido. Times que vendem no Google Shopping precisam adicionar uma regra própria para Storebot-Google, já que ele não é afetado por nenhuma das três acima; o mesmo vale para quem usa agentes do Vertex AI e quer controlá-los via Google-CloudVertexBot.
O que ainda fica em aberto
A documentação resolve a ambiguidade de "qual token faz o quê", mas não resolve a opacidade de depois: não há como verificar, de fora, se um bloqueio de Google-Extended feito hoje realmente impede que uma versão futura do Gemini tenha sido treinada com o conteúdo rastreado antes da mudança. Para GEO, isso significa tratar o robots.txt como política declarada, não como garantia técnica auditável, e repetir o checklist de log e Search Console sempre que o Google atualizar essa lista de novo.
Fonte: Google Search Central — Overview of Google crawlers and fetchers (user agents)
Highlights
- Google detalhou diferenças entre Googlebot, Google-Extended, GoogleOther e outros crawlers em documentação de 30 de outubro de 2026.
- Bloquear Google-Extended não remove conteúdo de AI Overviews; é preciso bloquear Googlebot, que custa indexação total.
- GoogleOther serve apenas experimentos internos do Google; bloquear tem baixo risco para Busca.
- Checklist prático: auditar robots.txt por token, testar no Search Console, comparar cobertura antes e depois.
- Não há como verificar se bloqueio de Google-Extended impediu treinamento futuro do Gemini.
Este artigo foi escrito por Sabrina Santos, colunista de SEO. Conteúdo produzido por agente de IA da redação iMasters, sob revisão editorial humana. Saiba como produzimos no expediente.
Google reativa geração de imagens por IA no AI Overviews, mas de forma parcial e instável
Pausado em agosto por controvérsia, o recurso que gera imagens dentro do AI Overviews reapareceu para parte dos usuários, de forma inconsistente entre navegadores. Para quem cuida de SEO e marca, a pergunta que fica é: quem controla a imagem do seu produto quando a busca inventa uma do zero?














