Crawl-delay dans le robots.txt : pourquoi Googlebot l'ignore (et ce qui fonctionne vraiment)

Le crawl-delay du robots.txt est une directive qui indique à un robot d'exploration combien de secondes attendre entre deux requêtes vers votre serveur. Le hic, c'est que Google ne le prend pas du tout en charge : il faut donc d'abord repérer quels robots sollicitent vraiment votre site, puis choisir pour chacun une solution qu'il respectera.

Avant de modifier quoi que ce soit, passez votre fichier dans le testeur de robots.txt gratuit. Collez votre URL : il indique quelles règles s'appliquent à quel user-agent, y compris une ligne crawl-delay placée dans un bloc que Googlebot ignorera.

Ce que contrôle le crawl-delay du robots.txt

Une ligne crawl-delay se place dans un bloc user-agent :

User-agent: Bingbot
Crawl-delay: 10

Cette ligne demande à Bingbot d'attendre 10 secondes entre deux accès. C'est un outil rudimentaire, qui fait officieusement partie du protocole d'exclusion des robots depuis des années, sans avoir jamais été standardisé pour tous les robots.

Googlebot ne le lit pas et n'en tient pas compte : si c'est Google qui met votre serveur à rude épreuve, cette directive ne vous sert à rien. Bing et Yandex le respectent, ce qui le rend utile quand ce sont eux qui causent la charge. DuckDuckGo s'appuie largement sur l'index de Bing et explore rarement le web de façon indépendante à la même échelle.

Robot	Prend en charge le crawl-delay ?	Ce qui contrôle réellement son rythme	Remarque
Googlebot	Non	Automatique, selon la réponse du serveur et la santé du site	La documentation de Google précise qu'il n'utilise pas le champ crawl-delay
Bingbot	Oui	La valeur numérique que vous définissez, en secondes	Traité comme un délai minimum entre deux requêtes
Yandex	Oui	Le même champ crawl-delay	Interprété littéralement en secondes
DuckDuckBot	Inégal	S'appuie surtout sur les données d'exploration de Bing	Rarement une source majeure de charge serveur à lui seul

Comment corriger le crawl-delay et les règles à caractères génériques sur votre site

Suivez ces étapes dans l'ordre :

1. Trouvez votre fichier. Ouvrez yoursite.com/robots.txt dans un navigateur. Il doit se trouver à la racine du domaine : une copie placée dans un sous-dossier ne sera pas lue.
2. Repérez l'éditeur. Sur la plupart des CMS, il se trouve dans un menu Paramètres ou SEO, souvent intitulé « Robots.txt » ou « Crawler Access ». Sur un site développé sur mesure, c'est généralement un fichier statique que votre développeur modifie et déploie.
3. Cherchez les lignes crawl-delay sous Googlebot. Supprimez celles que vous trouvez : elles ne servent à rien et encombrent seulement le fichier pour la prochaine personne qui le modifiera.
4. Passez en revue vos règles à caractères génériques. Une ligne comme Disallow: /*.pdf$ bloque tous les PDF, ce qui est souvent voulu. Mais Disallow: /category* peut bloquer discrètement toutes les URL qui commencent par cette chaîne, y compris des pages que vous vouliez indexer. Lisez donc chaque règle comme le ferait un robot : à la lettre.
5. Enregistrez, puis retestez le fichier en ligne avec le testeur de robots.txt plutôt que de vous fier à votre souvenir de ce que vous avez saisi.
6. Si vous avez besoin d'un fichier propre à partir de zéro, le générateur de robots.txt produit une syntaxe valide, sans les erreurs de caractères génériques qui viennent d'une modification à la main.

Quand les outils de votre site suffisent, et quand ils ne suffisent pas

Vérifier une seule URL par rapport à votre robots.txt prend quelques secondes avec n'importe quel bon testeur : collez l'URL et voyez si elle est autorisée ou bloquée.

Un problème récurrent ou touchant tout le site est une autre affaire. Si des pages disparaissent des résultats de recherche dans toute une section, ou si un développeur a mis en ligne un nouveau robots.txt lors d'un déploiement sans que personne ne s'en aperçoive, vous ne déboguez plus une seule ligne : vous auditez un schéma. Il faut alors une exploration complète du site, comparée au fichier.

• Pour une seule URL et une vérification ponctuelle, un testeur gratuit suffit.
• Pour un audit de tout le site, une surveillance récurrente, ou un site dont le robots.txt a changé sans validation, il vous faut une surveillance technique continue.

Erreurs courantes avec le crawl-delay et les caractères génériques

• Ajouter un crawl-delay sous User-agent: * en espérant ralentir Google.
• Écrire un caractère générique destiné à un seul dossier, qui correspond aussi à une dizaine d'autres partageant le même préfixe.
• Oublier l'ancre de fin de chaîne $, si bien que Disallow: /checkout bloque aussi /checkout-help et /checkout-faq.
• Laisser un développeur modifier le fichier en ligne pendant un déploiement, sans étape de relecture.
• Considérer le robots.txt comme une mesure de sécurité, alors qu'il ne fait que décourager les robots polis et ne restreint pas l'accès.

Questions fréquentes

Le crawl-delay du robots.txt fonctionne-t-il pour Google ?

Non. Google a clairement indiqué qu'il ne prend pas en charge le champ crawl-delay du robots.txt. Si Googlebot surcharge votre serveur, utilisez plutôt Search Console ou une limitation de débit au niveau du serveur.

Quels moteurs de recherche respectent le crawl-delay ?

Bing et Yandex respectent tous deux la directive, comme un nombre minimum de secondes entre deux requêtes. Google et la plupart des robots d'IA modernes ne le font pas.

Quelle différence entre Disallow et crawl-delay ?

Disallow interdit totalement à un robot l'accès à un chemin d'URL. Le crawl-delay ne bloque rien : il demande seulement à un robot coopératif de ralentir.

Comment fonctionnent les caractères génériques dans le robots.txt ?

L'astérisque (*) correspond à n'importe quelle suite de caractères, et le signe dollar ($) ancre une règle à la fin d'une URL. Combinés sans précaution, ils sont la cause la plus courante de blocages excessifs involontaires.

Une mauvaise règle de robots.txt peut-elle désindexer mes pages ?

Oui. Si une règle Disallow avec caractère générique correspond à des pages précédemment indexées, les moteurs de recherche cesseront de les explorer et finiront par les retirer des résultats.

Faites vérifier votre robots.txt comme il se doit

Passez votre fichier en ligne dans le testeur de robots.txt avant de présumer qu'une règle crawl-delay ou à caractères génériques se comporte comme prévu, car la plupart des problèmes de ce fichier tiennent à un seul caractère mal placé. Si vous souhaitez un regard extérieur sur la façon dont l'ensemble de votre site est exploré, parlez à l'équipe et obtenez un exemple de rapport sur ce qui bloque vos pages.

Ressources / Références

1. Google ne le prend pas du tout en charge
2. Protocole d'exclusion des robots
3. Bing
4. La documentation de Google

Sources

• Robots.txt Guide: Essential Rules & Disallow Best Practices
• Can I set Cawl-delay in robots.txt to less than one second ...
• Crawl Delay - robots.txt Directive and Request Pacing