Demander aux moteurs de recherche de ne pas indexer ce site : guide de configuration
Par Toy Wen Da, Cofondateur · · 7 min de lecture
Traduit de l'original en anglais. Lire en anglais
Cocher la case Demander aux moteurs de recherche de ne pas indexer ce site (Discourage search engines from indexing this site) indique à WordPress d'ajouter une règle « noindex » à votre fichier robots.txt, pour demander à Google, Bing et aux autres robots d'exploration d'ignorer vos pages. C'est une demande, pas un verrou : les robots respectueux des règles la prennent en compte, mais elle ne protège rien par mot de passe et ne bloque pas les liens directs.

Ce que fait réellement cette case
Lorsque vous cochez « Demander aux moteurs de recherche de ne pas indexer ce site » et enregistrez vos réglages de lecture WordPress, deux choses se produisent généralement en coulisses.
D'abord, WordPress réécrit le fichier robots.txt de votre site, le simple fichier texte que les robots consultent avant d'explorer quoi que ce soit, pour y inclure :
User-agent: *
Disallow: /
Cela indique à tous les robots respectueux des règles de ne demander aucune page de votre domaine. Ensuite, de nombreuses installations WordPress ajoutent aussi une balise meta noindex, follow à l'en-tête de vos pages, ce qui est une instruction plus directe : même si un robot voit la page, il ne doit pas l'afficher dans les résultats de recherche.

Pourquoi « demander » et non « bloquer »
WordPress emploie ce terme à dessein. La documentation pour les développeurs de Google explique que les directives de robots.txt sont des instructions, pas des contrôles d'accès : les robots respectueux comme Googlebot les suivent, mais le fichier ne peut pas empêcher physiquement l'accès comme le ferait un mot de passe ou une règle de pare-feu (source : Google Search Central). Si un robot ignore le robots.txt, ou si d'autres sites pointent directement vers vos pages, votre contenu peut tout de même apparaître dans les résultats.
Noindex et robots.txt : un mauvais ménage
C'est le point sur lequel on se trompe le plus souvent. Si une page est interdite dans le robots.txt, les moteurs de recherche ne l'explorent jamais, ce qui veut dire qu'ils ne voient pas non plus la balise noindex de cette page. Utiliser les deux en même temps sur la même URL peut même se retourner contre vous : le robot s'arrête au robots.txt et ne lit jamais l'instruction noindex, si bien qu'une page déjà indexée peut y rester plus longtemps qu'avec noindex seul. Choisissez une seule méthode par URL, pas les deux.
Quand utiliser vraiment ce réglage

Tous les sites ne doivent pas activer ce réglage, et toutes les raisons de le vouloir ne sont pas bonnes. Voici comment se répartissent les cas courants.
| Situation | Approche recommandée | Pourquoi |
|---|---|---|
| Site en cours de développement sur une URL en ligne | Activez le réglage ou, mieux, utilisez un sous-domaine de préproduction protégé par mot de passe | Garde les pages inachevées hors des résultats de recherche pendant que vous travaillez |
| Blog privé ou familial | Activez le réglage et envisagez un plugin qui restreint l'accès en lecture | La case seule n'arrêtera pas les visiteurs directs |
| Intranet ou tableau de bord interne d'entreprise | Protection par mot de passe au niveau du serveur, et pas seulement cette case | Le robots.txt est une demande ; il ne bloque pas les personnes non autorisées |
| Site entièrement lancé qui veut du trafic | Laissez la case décochée | Ce réglage va réduire activement votre visibilité naturelle |
| Domaine recyclé avec d'anciens backlinks | Activez-le temporairement, faites l'audit des anciens liens, puis désactivez-le au lancement | Vous laisse le temps de faire le ménage avant que le public ne voie quoi que ce soit |
L'erreur qui fait chuter le trafic
La demande d'aide WordPress la plus fréquente à propos de ce réglage n'est pas « comment l'activer », c'est « pourquoi mon trafic a-t-il disparu ». Des sites sont migrés de la préproduction vers la production, et la case pour décourager l'indexation suit le mouvement, restée cochée par erreur. Chaque page du site en ligne demande alors à Google de ne pas l'indexer, et des positions construites en plusieurs mois peuvent s'évaporer discrètement. Vérifiez toujours ce réglage juste après une migration ou le lancement d'une refonte.
Comment l'activer (ou le désactiver) correctement
- Connectez-vous au tableau de bord d'administration de WordPress.
- Allez dans Réglages → Lecture (Settings → Reading).
- Repérez « Visibilité pour les moteurs de recherche ».
- Cochez la case « Demander aux moteurs de recherche de ne pas indexer ce site ».
- Cliquez sur Enregistrer les modifications (Save Changes).
Pour l'annuler, on fait la même chose dans l'autre sens : décochez la case et enregistrez. Mais la décocher ne rétablit pas vos positions instantanément. Les moteurs de recherche doivent réexplorer votre site, constater que le robots.txt a changé et réintégrer vos pages dans leur index. Ce processus peut prendre de quelques jours à plusieurs semaines, selon la fréquence d'exploration de votre site.

Si vos pages sont déjà indexées
Cocher la case arrête l'exploration future, mais n'efface pas les pages que les moteurs de recherche ont déjà. Si Google a indexé votre contenu avant que vous activiez ce réglage, la suppression demande une étape de plus :
- Ajoutez une balise meta
noindexdirectement aux pages concernées (ne la combinez pas avec un blocage robots.txt sur les mêmes URL, pour la raison vue plus haut). - Assurez-vous que la page reste accessible publiquement : une page protégée par mot de passe ou privée ne peut pas être explorée, donc un robot ne pourra jamais lire la balise noindex lui demandant de la retirer.
- Utilisez l'outil de suppression d'URL de Google Search Console pour accélérer la désindexation, plutôt que d'attendre une nouvelle exploration naturelle.
- Vérifiez qu'aucune règle
Disallowcontradictoire dans le robots.txt n'empêche le robot d'atteindre la balise noindex.
Les grandes plateformes procèdent de la même façon : la documentation de HubSpot sur la manière d'empêcher un contenu d'apparaître dans les résultats de recherche décrit exactement la même séquence : robots.txt pour le contenu qui n'a pas encore été indexé, balises noindex pour celui qui l'a été. La logique reste valable quel que soit le CMS que vous utilisez.
Pourquoi une case à cocher n'est pas une vraie sécurité
Si votre objectif est vraiment d'empêcher des personnes de trouver ou de consulter un contenu sensible, et pas seulement de le garder hors de Google, ce réglage n'est pas le bon outil. Il ne s'adresse qu'aux moteurs de recherche qui choisissent de l'écouter. Pour une vraie confidentialité, il vous faut une protection par mot de passe au niveau du serveur sur le répertoire, qui bloque les robots comme les humains avant même que WordPress ne se charge. Si vous hésitez sur l'approche adaptée à votre situation, comprendre comment fonctionne réellement l'indexation par les moteurs de recherche vous montrera pourquoi un réglage fondé sur une demande ne peut pas remplacer un contrôle d'accès.
Vérifier que cela a fonctionné
Après avoir enregistré le réglage, ouvrez directement yourdomain.com/robots.txt dans un navigateur. Vous devriez voir Disallow: / sous la ligne du user-agent. Si ce n'est pas le cas, vos modifications n'ont pas été enregistrées, ou une couche de cache sert une ancienne version du fichier : videz votre cache et vérifiez à nouveau.
Rappelons aussi que les « moteurs de recherche » ne se résument pas à une seule entreprise. Bing publie ses propres règles d'exploration, séparément de celles de Google (voir les Bing Webmaster Guidelines), et si la plupart des grands robots respectent le format standard du robots.txt, leur comportement peut varier légèrement de l'un à l'autre. Si vous ne pensez qu'à Google, il vaut la peine de lire rapidement ce qui concerne les différents types de moteurs de recherche qui peuvent envoyer (ou retenir) du trafic vers votre site.
Questions fréquentes
Cocher cette case retire-t-il immédiatement mon site de Google ?
Non. Elle arrête les nouvelles explorations à partir de maintenant, mais les pages déjà présentes dans l'index de Google y restent jusqu'à ce que Google réexplore votre site et remarque le changement, en général de quelques jours à quelques semaines, plus vite si vous utilisez l'outil de suppression de Search Console.
Ce réglage empêchera-t-il les gens de visiter directement mon site ?
Non. Il demande seulement aux moteurs de recherche de ne pas lister vos pages dans les résultats. Toute personne qui a un lien direct, un favori ou l'URL exacte de votre site peut toujours le visiter normalement.
Puis-je l'utiliser en même temps qu'une balise noindex sur la même page ?
Ce n'est pas recommandé. Une interdiction dans le robots.txt empêche les robots d'atteindre la page, donc ils ne voient jamais la balise noindex : les deux instructions peuvent se contrarier au lieu de se renforcer.
Je viens de lancer mon site et le trafic est tombé à zéro. Ce réglage peut-il en être la cause ?
Oui, c'est l'une des causes les plus courantes. Vérifiez tout de suite Réglages → Lecture : si la case est restée cochée après une migration depuis la préproduction, décochez-la et enregistrez.
Tous les moteurs de recherche respectent-ils cette demande ?
Non. Elle repose sur une conformité volontaire. Les grands moteurs comme Google et Bing respectent généralement le robots.txt, mais il est expressément décrit comme une directive, pas comme un blocage imposé, si bien que certains robots ou acteurs malveillants peuvent l'ignorer.
Voyez exactement ce qui se passe sur votre site
Avant d'activer ou de désactiver le réglage Demander aux moteurs de recherche de ne pas indexer ce site, il est utile de savoir ce qui est réellement indexé en ce moment et ce qui ne l'est pas : c'est en devinant que les migrations tournent mal. Parlez à l'équipe et consultez un exemple de rapport SEO pour voir d'un coup d'œil l'état actuel de l'indexation de votre site, ses problèmes d'exploration et sa visibilité avant de faire le changement.
Ressources / Références
Sources
À propos de l'auteur
SearchBlueprint a recherché, rédigé et noté cet article avec la chaîne de production de contenu que nos clients utilisent sur leurs propres sites. La note affichée dans la signature est celle que notre moteur de contenu a attribuée à cette page avant sa publication. Rien ici n'est relu à la main, et c'est tout l'intérêt : c'est le résultat du produit, publié là où chacun peut le vérifier.