Scoraggia i motori di ricerca dall'indicizzare questo sito: guida all'impostazione

Se spunti la casella Scoraggia i motori di ricerca dall'indicizzare questo sito (Discourage search engines from indexing this site), WordPress aggiunge una regola "noindex" al tuo robots.txt e chiede a Google, Bing e agli altri crawler di ignorare le tue pagine. È una richiesta, non un lucchetto: i bot che rispettano le regole la seguono, ma non protegge nulla con una password e non blocca i link diretti.

Cosa fa davvero questa casella

Quando spunti "Scoraggia i motori di ricerca dall'indicizzare questo sito" e salvi le impostazioni di Lettura di WordPress, dietro le quinte succedono in genere due cose.

Per prima cosa, WordPress riscrive il file robots.txt del tuo sito, il semplice file di testo che i crawler controllano prima di scansionare qualsiasi cosa, in modo che contenga:

User-agent: *
Disallow: /

Questo dice a ogni crawler che rispetta le regole di non richiedere nessuna pagina del tuo dominio. In secondo luogo, molte installazioni WordPress aggiungono anche un meta tag noindex, follow nell'intestazione delle pagine, che è un'istruzione più diretta: anche se un bot vede la pagina, non deve inserirla nei risultati di ricerca.

Perché "scoraggia" e non "blocca"

WordPress usa la parola "scoraggia" di proposito. La documentazione per sviluppatori di Google spiega che le direttive di robots.txt sono istruzioni, non controlli di accesso: i crawler che le rispettano, come Googlebot, le seguono, ma il file non può impedire fisicamente l'accesso come invece fanno una password o una regola del firewall (fonte: Google Search Central). Se un bot ignora il robots.txt, o se altri siti puntano direttamente alle tue pagine, i tuoi contenuti possono comunque comparire nei risultati.

Noindex e robots.txt: insieme funzionano male

È la parte in cui si sbaglia più spesso. Se una pagina è bloccata con Disallow nel robots.txt, i motori di ricerca non la scansionano mai, quindi non vedono nemmeno l'eventuale tag noindex su quella pagina. Usare entrambi i metodi sullo stesso URL può addirittura ritorcersi contro di te: il crawler si ferma al robots.txt e non legge mai l'istruzione noindex, quindi una pagina già indicizzata può restare indicizzata più a lungo che con il solo noindex. Scegli un solo metodo per ogni URL, non entrambi.

Quando usare davvero questa impostazione

Non tutti i siti dovrebbero attivarla, e non tutti i motivi per farlo sono buoni. Ecco come si dividono i casi più comuni.

Situazione	Approccio consigliato	Perché
Sito in sviluppo su un URL online	Attiva l'impostazione o, meglio, usa un sottodominio di staging protetto da password	Tiene le pagine a metà fuori dalla ricerca mentre lavori
Blog privato o di famiglia	Attiva l'impostazione e valuta un plugin che limiti chi può vedere il sito	La sola casella non ferma i visitatori diretti
Intranet o dashboard interna di un'azienda	Protezione con password a livello di server, non solo questa casella	Il robots.txt è una richiesta: non blocca chi non è autorizzato
Sito già lanciato che vuole traffico	Lascia la casella deselezionata	Questa impostazione sopprime attivamente la tua visibilità organica
Dominio riciclato con vecchi backlink	Attivala temporaneamente, controlla i vecchi link, poi disattivala al lancio	Ti dà il tempo di fare pulizia prima che il pubblico veda qualcosa

L'errore che fa crollare il traffico

La richiesta di supporto WordPress più comune legata a questa impostazione non è "come la attivo", ma "perché il mio traffico è sparito". Si migra il sito dallo staging alla produzione e la casella che scoraggia l'indicizzazione si porta dietro, rimasta spuntata per errore. Ogni pagina del sito online dice di fatto a Google di non indicizzarla, e le posizioni costruite in mesi possono evaporare in silenzio. Ricontrolla sempre questa impostazione subito dopo ogni migrazione o lancio di un restyling.

Come attivarla (o disattivarla) correttamente

1. Accedi alla dashboard di amministrazione di WordPress.
2. Vai su Impostazioni → Lettura (Settings → Reading).
3. Trova "Visibilità per i motori di ricerca" (Search Engine Visibility).
4. Spunta la casella "Scoraggia i motori di ricerca dall'indicizzare questo sito" (Discourage search engines from indexing this site).
5. Fai clic su Salva le modifiche (Save Changes).

Per tornare indietro basta fare lo stesso al contrario: deseleziona la casella e salva. Ma deselezionarla non ripristina subito le tue posizioni. I motori di ricerca devono scansionare di nuovo il tuo sito, accorgersi che il robots.txt è cambiato e rimettere le tue pagine nel loro indice. Possono volerci da qualche giorno a diverse settimane, a seconda di quanto spesso il tuo sito viene scansionato.

Se le tue pagine sono già indicizzate

Spuntare la casella ferma la scansione futura, ma non cancella le pagine che i motori di ricerca hanno già. Se Google ha indicizzato i tuoi contenuti prima che attivassi questa impostazione, per rimuoverli serve un passaggio in più:

• Aggiungi un meta tag noindex direttamente alle pagine interessate (non combinarlo con un blocco nel robots.txt sugli stessi URL, per il motivo spiegato sopra).
• Assicurati che la pagina sia ancora accessibile pubblicamente: una pagina protetta da password o privata non può essere scansionata, quindi il bot non potrà mai leggere il tag noindex che gli dice di eliminarla.
• Usa lo strumento di rimozione URL di Google Search Console per accelerare la deindicizzazione, invece di aspettare una nuova scansione naturale.
• Verifica che nel robots.txt non ci sia una regola Disallow in conflitto, che impedisca al crawler di raggiungere il tag noindex.

Questo rispecchia il modo in cui le grandi piattaforme affrontano lo stesso problema: la documentazione di HubSpot su come impedire ai contenuti di comparire nei risultati di ricerca descrive la stessa sequenza, cioè robots.txt per i contenuti non ancora indicizzati e tag noindex per quelli già indicizzati. La logica vale qualunque CMS tu stia usando.

Perché una casella non è vera sicurezza

Se il tuo obiettivo è impedire davvero che le persone trovino o vedano contenuti sensibili, e non solo tenerli fuori da Google, questa impostazione è lo strumento sbagliato. Parla soltanto ai motori di ricerca che scelgono di ascoltare. Per una vera riservatezza ti serve una protezione con password a livello di server sulla directory, che blocca sia i bot sia le persone prima ancora che WordPress si carichi. Se non sei sicuro di quale approccio faccia al caso tuo, capire come funziona davvero l'indicizzazione dei motori di ricerca ti chiarirà perché un'impostazione basata su una richiesta non può sostituire un controllo degli accessi.

Verificare se ha funzionato

Dopo aver salvato l'impostazione, visita direttamente yourdomain.com/robots.txt in un browser. Sotto la riga dello user-agent dovresti vedere Disallow: /. Se non lo vedi, le modifiche non sono state salvate oppure un livello di cache sta servendo una vecchia versione del file: svuota la cache e controlla di nuovo.

Vale anche la pena ricordare che "motori di ricerca" non significa una sola azienda. Bing pubblica le proprie regole di scansione separatamente da quelle di Google (vedi Bing Webmaster Guidelines) e, anche se la maggior parte dei crawler importanti rispetta il formato standard del robots.txt, il comportamento può variare leggermente dall'uno all'altro. Se pensi solo a Google, vale la pena dare una rapida occhiata ai diversi tipi di motori di ricerca che potrebbero mandare (o negare) traffico al tuo sito.

Domande frequenti

Spuntare questa casella rimuove subito il mio sito da Google?

No. Ferma la nuova scansione da quel momento in poi, ma le pagine già presenti nell'indice di Google ci restano finché Google non scansiona di nuovo il tuo sito e nota la modifica: di solito da qualche giorno a qualche settimana, più in fretta se usi lo strumento di rimozione di Search Console.

Questa impostazione impedisce alle persone di visitare direttamente il mio sito?

No. Chiede soltanto ai motori di ricerca di non elencare le tue pagine nei risultati. Chiunque abbia un link diretto, un segnalibro o l'URL esatto del tuo sito può comunque visitarlo normalmente.

Posso usare questa impostazione e un tag noindex insieme sulla stessa pagina?

Non è consigliato. Un Disallow nel robots.txt impedisce ai crawler di raggiungere la pagina, quindi non vedono mai il tag noindex: le due istruzioni possono ostacolarsi a vicenda invece di rafforzarsi.

Ho appena lanciato il mio sito e il traffico è sceso a zero. Può essere colpa di questa impostazione?

Sì, è una delle cause più comuni. Controlla subito Impostazioni → Lettura (Settings → Reading): se la casella è rimasta spuntata dopo una migrazione dallo staging, deselezionala e salva.

Tutti i motori di ricerca rispettano questa richiesta?

No. Si basa sul rispetto volontario. I motori principali come Google e Bing in genere rispettano il robots.txt, ma viene descritto esplicitamente come una direttiva, non come un blocco imposto, quindi alcuni crawler o malintenzionati possono ignorarlo.

Scopri cosa succede davvero sul tuo sito

Prima di attivare o disattivare l'impostazione Scoraggia i motori di ricerca dall'indicizzare questo sito, conviene sapere che cosa è indicizzato adesso e che cosa no: andare a tentativi è il modo in cui le migrazioni vanno storte. Parla con il team e scarica un esempio di report SEO per vedere a colpo d'occhio lo stato di indicizzazione, i problemi di scansione e la visibilità attuali del tuo sito prima di fare la modifica.

Risorse / Riferimenti

1. Google Search Central
2. Bing Webmaster Guidelines

Letture correlate: X-Robots-Tag: come verificarlo, impostarlo e correggerlo (2026).

Fonti

• Prevent content from appearing in search results
• Prevent website completely from being indexed by any ...
• What is the best way to stop search engines from indexing ...
• How to Stop Search Engine Crawlers From Crawling Your Site
• Prevent Search Engines from Crawling Your Site: Your Guide