Se você é um webmaster, provavelmente já recebeu uma daquelas infames cartas de advertência “Googlebot não pode acessar os arquivos CSS e JS em example.com” que o Google envia para aparentemente todos os SEOs e webmasters. Esse foi um novo alerta do Google, embora tenhamos ouvido dos sites de pesquisa sobre a necessidade de garantir que todos os recursos estejam desbloqueados, incluindo JavaScript e CSS.

Há definitivamente uma confusão em torno dessas cartas, apoiada por alguns dos relatórios no Google Search Console. Aqui está o que você precisa saber sobre o desejo do Google de ver esses recursos desbloqueados e como você pode facilmente desbloqueá-los para tirar proveito do aumento de classificação associado a isso.

Por que o Google se importa?

Uma das maiores queixas sobre os e-mails de alerta está no fato de que muitos sentiram que não havia razão para o Google ver esses arquivos. Isso era especialmente verdade, porque esses arquivos os webmasters tradicionalmente bloqueiam – como os arquivos dentro da área de administração do WordPress e as pastas plugin para WordPress.

Aqui está a carta em questão que muitos receberam do Google. Ela definitivamente levantou muitas questões e preocupações:

Claro, sempre que o Google faz qualquer coisa que poderá desvalorizar o ranking, a indústria de SEO tende a surtar. E a mensagem confusa desse aviso não ajudou a melhorar a situação.

Por que o Google precisa disso

O Google precisa processar esses arquivos por algumas razões. A mais visível e conhecida é o algoritmo mobile-friendly (compatibilidade com dispositivos móveis). O Google precisa ser capaz de processar a página completamente, incluindo o JavaScript e o CSS, para garantir que ela seja compatível com dispositivos móveis e para aplicar tanto a tag mobile-friendly nos resultados da pesquisa quanto impulsionar a classificação para os resultados de busca em dispositivos móveis. Desbloquear esses recursos foi uma das coisas que o Google estava recomendando publicamente para webmasters, a fim de obterem o Boost Mobile-friendly para essas páginas.

No entanto, existem outras partes do algoritmo que dependem de utilizar esses recursos também. O algoritmo de layout da página e o algoritmo que olha para onde o conteúdo é colocado na página em relação aos anúncios são exemplos. Se o Google determinar que uma página web tem principalmente anúncios acima da dobra, com o conteúdo real abaixo dela, ele pode desvalorizar os rankings para essas páginas. Mas com a magia do CSS, os webmasters podem facilmente fazer com que pareça que o conteúdo está na frente e no centro, enquanto os anúncios são a parte mais visível da página acima da dobra.

E mesmo sendo um truque muito velho, e não muito eficaz, as pessoas ainda usam CSS e JavaScript para esconder coisas como excesso de palavras-chave e links – incluindo, no caso de um site invadido, esconder isso do real proprietário do website. Googlebot rastreando o CSS e o JavaScript pode determinar se ele está sendo usado como spam.

O Google também tem centenas de outros sinais em seu algoritmo de busca, e é muito provável que alguns desses dados de uso sejam obtidos de alguma forma a partir de CSS e JavaScript também. E, como Google muda as coisas, há sempre a possibilidade de que ele irá usar isso para sinais futuros também.

Por que agora?

Enquanto muitos SEOs tiveram sua primeira introdução aos perigos de bloqueio de JavaScript e CSS quando receberam o e-mail do Google, Matt Cutts já estava falando sobre isso há três anos e meio, em um vídeo de ajuda para Webmasters do Google.

Então, no ano passado, o Google fez uma mudança significativa em suas diretrizes de webmaster, adicionando às suas orientações técnicas:

Impedir o rastreamento de Javascript ou CSS no robots.txt do seu site prejudica diretamente o quão bem os nossos algoritmos processam e indexam o seu conteúdo e pode resultar em classificações inferiores.

 

Isso teve muito pouca atenção na época, especialmente porque a maioria das pessoas acreditava que eles não estavam bloqueando coisa alguma.

No entanto, um grande problema foi que alguns plugins populares de SEO para WordPress estavam bloqueando alguns JavaScript e CSS. Como a maioria dos usuários WordPress não sabiaa que isso estava acontecendo, foi uma surpresa descobrir que eles estavam, de fato, bloqueando recursos.

Isso também começou a aparecer em uma nova seção “Recursos bloqueados” do Google Search Console no mês anterior ao lançamento do algoritmo mobile-friendly.

Quantos sites foram afetados?

No habitual modo Google, eles não deram números específicos sobre quantos webmasters receberam esses avisos sobre recursos bloqueados. Mas Gary Illyes, do Google, confirmou que eles foram enviados para 18,7% daqueles que foram enviados para os avisos de compatibilidade com dispositivos móveis no início deste ano:

Encontrando recursos bloqueados

O e-mail que o Google enviou para webmasters alertando para a questão do bloqueio do CSS e do JavaScript era confuso. Ele deixou muitos webmasters sem saber ao certo o que exatamente estava e o que não estava sendo bloqueado, especialmente porque eles estavam recebendo avisos sobre JavaScript e CSS hospedado sites de terceiros.

Se você recebeu uma das cartas de advertência, a sugestão para encontrar os recursos bloqueados era usar a ferramenta Fetch no Google Search Console. Embora isso possa ser bom para a verificação da homepage, para sites com mais de um punhado de páginas, isso poderia se tornar entediante muito rapidamente. Felizmente, há uma maneira mais fácil do que o método sugerido pelo Google.

Há uma explicação passo a passo completa aqui, mas para os que estão familiarizados com o Google Search Console encontrarão uma seção chamada “Blocked Resources” logo abaixo de “Google Index”, que dirá qual JavaScript e CSS estão bloqueados e as páginas em que eles se encontram.

Você também deve ter certeza de que verificou se há recursos bloqueados depois de qualquer grande alteração ou quando lançar um novo website, uma vez que não está totalmente claro se o Google ainda está enviando ativamente esses e-mails para alertar os webmasters do problema.

Homepage

Há uma certa preocupação entre aqueles que usam scripts especializados em páginas internas e não necessariamente desejam o desbloqueio por razões de segurança. John Mueller, do Google, disse que eles estão observando principalmente a homepage – desktop e móvel – para ver se o JavaScript e o CSS estão bloqueados.

Assim, pelo menos por agora, enquanto é certamente uma das melhores práticas desbloquear CSS e JavaScript de todas as páginas, você deve, no mínimo, tornar isso uma prioridade na homepage, assegurando que nada nela esteja bloqueado. Depois disso, você pode trabalhar nas outras páginas, com especial atenção para as páginas que têm JavaScript ou CSS únicos.

Indexando JavaScript e CSS

Outra razão pela qual muitos sites não querem desbloquear seu CSS e JavaScript é porque não querem que eles sejam indexados pelo Google. Mas nenhum desses arquivos são tipos de arquivos que o Google indexa, de acordo com a sua longa lista de tipos de arquivos suportados para indexação.

Todas as variações

Também vale a pena lembrar de verificar tanto o www e não-www quanto aos recursos bloqueados no Google Search Console. Isso é algo que é muitas vezes esquecido por aqueles webmasters que apenas tendem a olhar para a versão que eles preferem usar para o site.

Além disso, pelo fato de os dados de recursos bloqueados mostrados no Console de Pesquisa serem baseados em quando o Googlebot fez o último rastreamento em cada página, você pode encontrar recursos bloqueados adicionais ao verificar os dois. Isso é especialmente verdadeiro para os sites que podem ser mais velhos ou não atualizados tão frequentemente, e não rastreados diariamente (como acontece com um site mais popular).

Da mesma forma, se você tem tanto uma versão móvel quanto uma desktop, você vai querer garantir que ambas não estão bloqueando quaisquer recursos. Isso é especialmente importante para a versão móvel, já que impacta cada página que recebe a tag mobile-friendly e o posicionamento no ranking dos resultados de busca móvel.

E se você tiver páginas diferentes com base no idioma e no local, vai querer verificar cada uma delas também. Não basta verificar a versão “principal” e assumir que tudo está certo em todo o site. Não é incomum descobrir surpresas em outras variações do mesmo site. No mínimo, verifique a página inicial de cada idioma e local.

WordPress e bloqueio de JavaScript e CSS

Se você usar um dos plugins “SEO para WordPress” para um site baseado em WordPress, as chances são que você está bloqueando o JavaScript e o CSS devido a esse plugin. Alguns deles costumavam ter uma das configurações padrão “out-of-the-box” para bloquear tudo na pasta /wp-admin/.

Quando o algoritmo compatível com dispositivos móveis entrou em jogo, devido a essas páginas de administração não estarem sendo indexadas individualmente, a maioria dos usuários do WordPress deixou o bloco de robôs intacto. Mas esse novo aviso do Google exige que todo JavaScript e CSS relacionado ao WordPress esteja desbloqueado, e o Google irá mostrar como um erro se você bloquear o JavaScript e o CSS.

Yoast, criador do popular plugin Yoast SEO (anteriormente WordPress SEO), também recomenda desbloquear todo JavaScript e CSS no WordPress, incluindo a pasta /wp-admin/.

Recursos de terceiros

Uma das ironias disso foi que o Google estava sinalizando o JavaScript de terceiros, o que significa o JavaScript hospedado em um site de terceiros foi chamado em cada página da web. E, sim, isso inclui próprio Google AdSense JavaScript do Google.

Inicialmente, o Google sugeriu que os proprietários de sites entrassem em contato com esses sites de terceiros para pedir que eles desbloqueassem o JavaScript que estava sendo utilizado para, assim, o Googlebot poder rastreá-lo. No entanto, não há muitos webmasters fazendo isso; eles sentiram que não era o seu trabalho, especialmente quando não tinham controle sobre o que o site de terceiros estava bloqueando.

O Google disse mais tarde que eles não estavam preocupados com recursos de terceiros por causa da falta de controle que os webmasters têm sobre eles. Assim, embora possa aparecer na lista de recursos bloqueados, eles estão realmente procurando URLs para JavaScript e CSS que o dono do site pode controlar por meio de seu próprio robots.txt.

John Mueller revelou mais recentemente que eles estavam planejando contatar alguns dos sites de terceiros mais frequentemente citados, a fim de ver se eles poderiam desbloquear o JavaScript. Enquanto não sabemos quais os sites com os quais pretendem entrar em contato, era algo que eles planejavam fazer; eu suspeito que eles irão ver com sucesso alguns deles desbloqueados. Mais uma vez, enquanto isso não é um problema do webmaster, vai ser bom não ter alguns desses sites sinalizados nos relatórios.

Como desbloquear seu JavaScript e CSS

Para a maioria dos usuários, é apenas um caso de verificar o robots.txt e garantir que você está permitindo que todos os arquivos JavaScript e CSS sejam rastreados. Para usuários do Yoast SEO, é possível editar seu arquivo robots.txt diretamente na área de administração do WordPress.

Gary Illyes do Google também compartilhou algumas mudanças detalhados do robots.txt no Stack Overflow. Você pode adicionar essas diretivas no seu arquivo robots.txt, a fim de permitir que o Googlebot faça o rastreamento de todo JavaScript e CSS.

Para ter absoluta certeza de que você está desbloqueando todo JavaScript e CSS, você pode adicionar o seguinte no seu arquivo robots.txt, desde que você não tenha nenhum diretório sendo bloqueado atualmente:

User-Agent: Googlebot
Allow: .js
Allow: .css

Se você tem um arquivo robots.txt mais especializado, onde está bloqueando diretórios inteiros, isso pode ser um pouco mais complicado.

Nesse caso, também é necessário permitir .js e .css para cada um dos diretórios que foram bloqueados.

Por exemplo:

User-Agent: Googlebot
Disallow: /deep/
Allow: /deep/*.js
Allow: /deep/*.css

Repita esse procedimento para cada diretório que você está bloqueando no robots.txt.

Isso permite que o Googlebot rastreie esses arquivos, enquanto não permite outros indexadores (se você os bloqueou). No entanto, as chances são boas de que o tipo de bots com que você está mais preocupado em ter permissão para rastrear vários arquivos JavaScript e CSS são os únicos que não honram arquivos robots.txt.

Você pode alterar o User-Agent para *, que permitiria que todos os indexadores possam rastreá-lo. Bing tem a sua própria versão do algoritmo mobile-friendly, o que requer o rastreamento de JavaScript e CSS, embora não tenha enviado avisos sobre ele.

Concluindo

Se você quer a classificação melhor possível, desbloquear JavaScript e CSS é uma das mudanças de SEO mais fáceis que você pode fazer para o seu site. Isso é especialmente importante para aqueles com uma quantidade significativa de tráfego mobile, uma vez que o algoritmo de classificação móvel exige que ambos estejam desbloqueados para obter um melhor ranking do mobile-friendly.

Sim, você pode continuar bloqueando o Google bot de rastrear qualquer um deles, mas seu ranking irá sofrer se você fizer isso. E em um mundo onde cada posição ganha conta muito, não faz sentido sacrificar rankings a fim de manter os arquivos privados.

***

Jennifer Slegg faz parte do time de colunistas internacionais do iMasters. Você pode ver o original em: https://moz.com/blog/why-all-seos-should-unblock-js-css. Esta tradução foi feita com permissão. Moz não tem qualquer afiliação com este site.