Crawl-delay no robots.txt: por que o Googlebot o ignora (e o que realmente funciona)

O crawl-delay do robots.txt é uma diretiva que diz a um rastreador quantos segundos esperar entre as requisições ao seu servidor. O problema é que o Google não oferece nenhum suporte a ele. Por isso, o primeiro passo é descobrir quais bots estão sobrecarregando seu site e, depois, escolher para cada um uma solução que ele respeite.

Antes de mudar qualquer coisa, passe seu arquivo pelo Robots.txt Tester gratuito. Cole sua URL e ele mostra quais regras valem para cada user-agent, incluindo qualquer linha de crawl-delay que esteja em um bloco que o Googlebot vai pular.

O que o crawl-delay do robots.txt controla

Uma linha de crawl-delay fica dentro de um bloco de user-agent:

User-agent: Bingbot
Crawl-delay: 10

Isso diz ao Bingbot para esperar 10 segundos entre os acessos. É um instrumento grosseiro, que faz parte informalmente do Protocolo de Exclusão de Robôs (Robots Exclusion Protocol) há anos, mas nunca foi padronizado entre todos os rastreadores.

O Googlebot não lê nem age sobre essa diretiva. Se o Google é o rastreador que está pesando no seu servidor, ela não adianta nada. O Bing e o Yandex a respeitam, o que a torna útil quando são esses os bots que causam a carga. O DuckDuckGo depende bastante do índice do Bing e raramente rastreia por conta própria na mesma escala.

Rastreador	Aceita crawl-delay?	O que realmente controla a taxa dele	Observação
Googlebot	Não	Automático, com base na resposta do servidor e na saúde do site	A própria documentação do Google afirma que ele não usa o campo crawl-delay
Bingbot	Sim	O valor numérico que você define, em segundos	Tratado como um tempo mínimo de espera entre requisições
Yandex	Sim	O mesmo campo crawl-delay	Interpretado literalmente como segundos
DuckDuckBot	Inconsistente	Depende principalmente dos dados de rastreamento do Bing	Raramente é uma grande fonte de carga no servidor por conta própria

Como corrigir o crawl-delay e as regras com curinga no seu site

Siga estes passos na ordem:

1. Encontre o seu arquivo. Abra seusite.com/robots.txt no navegador. Ele precisa ficar na raiz do domínio, e uma cópia colocada em uma subpasta não será lida.
2. Localize o editor. Na maioria dos CMS, ele fica em um menu Settings ou SEO, muitas vezes chamado de "Robots.txt" ou "Crawler Access". Em um site programado sob medida, geralmente é um arquivo estático que o seu desenvolvedor edita e publica.
3. Procure linhas de crawl-delay no bloco do Googlebot. Apague todas que encontrar, já que não fazem nada e só poluem o arquivo para a próxima pessoa que for editá-lo.
4. Revise suas regras com curinga. Uma linha como Disallow: /*.pdf$ bloqueia todos os PDFs, o que geralmente é intencional. Já Disallow: /category* pode bloquear silenciosamente todas as URLs que começam com esse texto, inclusive páginas que você queria indexadas. Por isso, leia cada regra com curinga como um rastreador leria: ao pé da letra.
5. Salve e, em seguida, teste de novo o arquivo publicado com o Robots.txt Tester, em vez de confiar na sua memória do que digitou.
6. Se você precisa de um arquivo limpo do zero, o Robots.txt Generator gera uma sintaxe válida, sem os erros de curinga que surgem na edição manual.

Quando as ferramentas do próprio site bastam e quando não bastam

Verificar uma única URL no seu robots.txt leva segundos com qualquer bom testador: cole a URL e veja se ela está permitida ou bloqueada.

Um problema recorrente ou que atinge o site todo é outra história. Se páginas estão sumindo dos resultados de busca em uma seção inteira, ou se um desenvolvedor publicou um novo robots.txt durante um deploy e ninguém percebeu, você já não está depurando uma linha, e sim auditando um padrão. Isso exige um rastreamento completo do site, comparado com o arquivo.

• Para uma única URL e uma verificação pontual, um testador gratuito basta.
• Para uma auditoria do site inteiro, um monitoramento recorrente ou um site cujo robots.txt mudou sem aprovação, você precisa de monitoramento técnico contínuo.

Erros comuns com crawl-delay e curingas

• Adicionar um crawl-delay em User-agent: * e esperar que isso desacelere o Google.
• Escrever um curinga pensado para uma pasta que também corresponde a uma dúzia de outras com o mesmo prefixo.
• Esquecer a âncora de fim de texto $, de modo que Disallow: /checkout também bloqueia /checkout-help e /checkout-faq.
• Deixar um desenvolvedor editar o arquivo publicado durante um deploy, sem etapa de revisão.
• Tratar o robots.txt como uma medida de segurança, quando ele apenas desencoraja rastreadores educados e não restringe o acesso.

Perguntas frequentes

O crawl-delay do robots.txt funciona para o Google?

Não. O Google já declarou claramente que não oferece suporte ao campo crawl-delay no robots.txt. Se o Googlebot está sobrecarregando seu servidor, use o Search Console ou um limite de requisições no nível do servidor.

Quais mecanismos de busca respeitam o crawl-delay?

Bing e Yandex honram a diretiva como um número mínimo de segundos entre as requisições. O Google e a maioria dos rastreadores de IA modernos não a respeitam.

Qual é a diferença entre Disallow e crawl-delay?

O Disallow bloqueia totalmente o acesso de um rastreador a um caminho de URL. O crawl-delay não bloqueia nada e apenas pede a um rastreador cooperativo que diminua o ritmo.

Como funcionam os curingas no robots.txt?

O asterisco (*) corresponde a qualquer sequência de caracteres, e o cifrão ($) ancora uma regra ao final de uma URL. Combinados sem cuidado, eles são a causa mais comum de bloqueio excessivo acidental.

Uma regra errada no robots.txt pode desindexar minhas páginas?

Sim. Se uma regra Disallow com curinga corresponde a páginas que já estavam indexadas, os mecanismos de busca deixam de rastreá-las e, com o tempo, as removem dos resultados.

Faça uma checagem completa do seu robots.txt

Passe o arquivo publicado pelo Robots.txt Tester antes de presumir que uma regra de crawl-delay ou de curinga está se comportando como você pretendia, porque a maioria dos problemas nesse arquivo se resume a um único caractere fora do lugar. Se quiser uma segunda opinião sobre como o seu site inteiro é rastreado, fale com a equipe e receba um relatório de amostra sobre o que está bloqueando suas páginas.

Recursos / Referências

1. O Google não oferece nenhum suporte a ele
2. Protocolo de Exclusão de Robôs (Robots Exclusion Protocol)
3. Bing
4. A própria documentação do Google

Fontes

• Robots.txt Guide: Essential Rules & Disallow Best Practices
• Can I set Cawl-delay in robots.txt to less than one second ...
• Crawl Delay - robots.txt Directive and Request Pacing