A armadilha da tag unavailable_after: por que o Google pode não ver a nova data

A tag unavailable_after existe desde julho de 2007 e faz uma coisa simples: diz ao Google para parar de mostrar uma página nos resultados de busca depois da data e hora informadas. É útil para conteúdo com prazo de validade, como anúncios classificados, promoções ou produtos que saem de linha. Mas, como destacou o Search Engine Roundtable, há uma pegadinha importante quando essa data precisa ser prorrogada dinamicamente.

O problema em uma frase

Se você define uma data de expiração e depois empurra essa data para frente, o Google só vai enxergar a mudança se rastrear a página novamente antes do prazo antigo. Caso contrário, ele pode simplesmente cumprir a instrução original e derrubar a URL do índice, ignorando a nova data que você configurou.

O alerta surgiu de uma pergunta feita a Gary Illyes, do Google, no LinkedIn. Javier Lorente Murillo descreveu um cenário comum em portais de alto giro: listagens que expiram em 24 a 72 horas, mas que os usuários podem renovar. O sistema dele empurra a unavailable_after para o futuro dinamicamente, e a dúvida era se o Googlebot passaria a ignorar a tag por vê-la mudando o tempo todo, ou se haveria alguma penalidade de SEO.

A resposta do Google

Illyes foi direto sobre o mecanismo. Nas palavras dele: "Meu palpite é que empurrar a data de unavailable_after para frente está ok, MAS você precisa lembrar que vamos precisar rastrear a página de novo para 'ver' a nova data."

Ele acrescentou que a tag não tem implicação sobre nada além da seleção de índice, onde funciona como um sinal de "você já pode descartar isto". Ou seja: não há penalidade de ranking por mudar a data com frequência. O risco é puramente de timing. Se o Googlebot não visitar a URL entre a renovação e o prazo original, a página cai do índice mesmo tendo sido renovada.

Por que isso importa (e o trade-off)

Aqui está o ponto que separa quem entende de crawl budget de quem só copia a tag. Você não controla quando o Googlebot rasteia. Em sites grandes, com milhares de listagens de vida curta, é perfeitamente possível que uma página não seja revisitada dentro da janela de 24 a 72 horas. Nesse caso, a renovação some do resultado orgânico exatamente quando deveria estar visível.

O próprio Barry Schwartz, do Search Engine Roundtable, levantou uma alternativa: talvez faça mais sentido só definir a unavailable_after para quando a página realmente expira de vez, em vez de ficar prorrogando. O contraponto óbvio é que isso pode manter a página no índice por mais tempo do que o desejado, o que reintroduz o problema de conteúdo desatualizado aparecendo na busca.

Não existe bala de prata. É uma escolha entre dois riscos:

• Prorrogar a data dinamicamente: limpo em teoria, mas dependente do crawl do Google. Renovações podem sumir cedo demais.
• Definir a data só na expiração real: garante que renovações fiquem visíveis, mas conteúdo morto pode persistir no índice até o Google recrawlear.

Como medir o impacto no seu caso

Antes de escolher uma abordagem, vale instrumentar. Algumas recomendações práticas para quem opera no Brasil com portais de classificados, imóveis ou vagas:

• Cruze a data da última visita do Googlebot (nos logs do servidor ou no relatório de páginas do Search Console) com a janela de expiração das suas listagens. Se a frequência de crawl for menor que a vida útil típica, a tag dinâmica vai falhar.
• Monitore a cobertura de indexação no Google Search Console antes e depois de qualquer mudança de estratégia, comparando quantas URLs renovadas continuam indexadas.
• Para páginas de altíssimo giro que expiram de verdade, considere o 410 Gone em vez de 404, que sinaliza remoção definitiva de forma mais clara ao crawler.

A gestão de ciclo de vida de indexação é engenharia de descoberta, não truque. A unavailable_after continua sendo uma ferramenta legítima, mas ela pressupõe um recrawl que você não pode agendar. Medir a frequência real de rastreamento das suas URLs é o que transforma essa decisão de aposta em cálculo.

Fonte: Search Engine Roundtable