X-Robots-Tag: come controllarlo, impostarlo e correggerlo (2026)

Un X-Robots-Tag è un header di risposta HTTP che indica ai motori di ricerca se indicizzare o seguire una pagina o un file. Poiché viaggia nella risposta del server e non nell'HTML, funziona su PDF, immagini e qualsiasi altro tipo di file. Per modificarlo, intervieni sulla configurazione del server o sulle impostazioni degli header del tuo CMS, poi verifica il risultato controllando la risposta live.

Prima di cambiare qualcosa, guarda cosa sta inviando adesso il tuo sito. Il meta tag checker gratuito recupera gli header di risposta live e i meta tag di qualsiasi URL: in un solo passaggio puoi vedere se è presente un X-Robots-Tag, quale direttiva contiene e se è in conflitto con un meta tag robots sulla stessa pagina.

Cosa fa un X-Robots-Tag

Il tag contiene una o più direttive separate da virgole nella risposta HTTP. I motori di ricerca le leggono come leggono un meta tag robots, ma poiché l'istruzione si trova nell'header, vale per qualsiasi file servito dal server, non solo per le pagine HTML.

Non puoi inserire un meta tag dentro un PDF o un JPEG, quindi se vuoi tenere un file scaricabile o un'immagine fuori dai risultati di ricerca, l'X-Robots-Tag è la tua unica opzione.

Le direttive che userai più spesso

Direttiva	Cosa fa	Caso d'uso tipico
noindex	Tiene la pagina o il file fuori dai risultati di ricerca	Report interni, pagine di staging, PDF duplicati
nofollow	Indica ai crawler di non seguire i link presenti in quell'URL	Pagine con link in uscita a cui non vuoi trasferire autorevolezza
noarchive	Impedisce a Google di mostrare una copia in cache	Pagine con prezzi o contenuti soggetti a scadenza
nosnippet	Blocca l'anteprima di testo o immagine nei risultati	Contenuti di cui non vuoi estratti nella SERP
unavailable_after	Rimuove la pagina dai risultati dopo una data stabilita	Offerte a tempo, annunci scaduti

Come impostarlo sul tuo sito

I passaggi dipendono dal tuo server, ma lo schema è lo stesso ovunque: aggiungi l'header a livello di server, poi verificalo sull'URL live.

Su Apache (.htaccess)

1. Apri il file .htaccess del tuo sito.
2. Indica il tipo di file che vuoi controllare, ad esempio i PDF:

   <Files ~ "\.pdf$">
   Header set X-Robots-Tag "noindex, nofollow"
   </Files>
   

3. Salva e carica il file nella directory principale (root) del tuo server.
4. Ricarica l'URL interessato e verifica che l'header compaia nella risposta.

Su Nginx

1. Apri la configurazione del tuo server block.
2. Aggiungi una regola location per il tipo di file, ad esempio le immagini:

   location ~* \.(png|jpe?g|gif)$ {
     add_header X-Robots-Tag "noindex";
   }
   

3. Ricarica Nginx in modo che la configurazione diventi effettiva.

Su WordPress o su un CMS gestito

La maggior parte dei CMS gestisce i meta tag robots tramite le impostazioni a livello di pagina di un plugin SEO, che è più semplice per le normali pagine e articoli. Ricorri all'X-Robots-Tag quando devi bloccare PDF, download o altri file non HTML su cui un plugin non può intervenire. Se il tuo CMS non offre controlli sugli header, di solito dovrai modificare la configurazione del server tramite il file manager del tuo hosting oppure chiedere al tuo sviluppatore di aggiungere la regola.

Prima e dopo qualsiasi modifica, verifica che il tuo file robots.txt non stia bloccando lo stesso URL, perché i crawler che non riescono ad accedere a una pagina non vedono mai la direttiva al suo interno. Controlla l'URL con un tester robots.txt per escluderlo. Se devi ricostruire il file da zero, un generatore di robots.txt ne produrrà uno valido, senza gli errori di sintassi che causano blocchi accidentali dell'intero sito.

Robots.txt, meta robots o X-Robots-Tag?

Questi tre strumenti hanno nomi simili e vengono confusi di continuo, ma ognuno risolve un problema diverso.

Strumento	Dove si trova	Cosa controlla	Ideale per
Robots.txt	File di testo nella root	A cosa possono accedere i crawler	Bloccare la scansione di intere cartelle o sezioni
Meta tag robots	Dentro l'<head> dell'HTML	Indicizzazione di una singola pagina HTML	Controllo semplice, pagina per pagina, sulle pagine standard
X-Robots-Tag	Header di risposta HTTP	Indicizzazione di qualsiasi tipo di file	PDF, immagini, grandi gruppi di URL per pattern

Il robots.txt governa la scansione, mentre gli altri due governano l'indicizzazione. Una pagina può essere scansionabile ed essere comunque tenuta fuori dai risultati con noindex. Una pagina bloccata alla scansione, invece, non vede mai letta la propria istruzione di indicizzazione.

Quando i tuoi strumenti bastano e quando no

Un checker di header gratuito basta per un singolo URL: hai appena fatto una modifica e vuoi verificare che abbia avuto effetto, oppure qualcuno ti segnala una pagina che compare nei risultati di ricerca e non dovrebbe. Il meta tag checker gratuito lo fa in pochi secondi.

Smette di bastare quando il problema riguarda l'intero sito, ad esempio una migrazione del server che ha cancellato le tue regole sugli header, una configurazione della CDN applicata a ogni tipo di file o un aggiornamento di un plugin WordPress che ha cambiato in silenzio il comportamento predefinito. A quel punto devi individuare quali tra centinaia o migliaia di pagine hanno ricevuto un noindex indesiderato, e un audit tecnico ricorrente lo fa meglio di un controllo manuale a campione, perché un'occhiata una tantum non intercetta una regressione che si verifica il mese prossimo.

Errori comuni

• Impostare noindex sia nel robots.txt sia nell'X-Robots-Tag. Se il robots.txt blocca l'URL, Google non legge mai l'header, quindi la direttiva di indicizzazione resta inutilizzata.
• Applicare l'header a un intero tipo di file quando serve solo ad alcuni. Una regola generalizzata sui PDF può deindicizzare per errore documenti che volevi far trovare.
• Dimenticare di controllare dopo una migrazione del server. I nuovi ambienti di hosting spesso eliminano senza avviso le regole personalizzate sugli header.
• Confondere nofollow sulla pagina con rel="nofollow" su un link. Il primo vale per l'intera pagina, il secondo per il singolo link.
• Dare per scontato che l'impostazione di un plugin copra i file non HTML. La maggior parte dei plugin SEO interviene solo sui meta tag di pagine e articoli, non sui PDF o sulle immagini serviti direttamente.

Domande frequenti

L'X-Robots-Tag funziona come un meta tag robots?

Accettano le stesse direttive, ma l'X-Robots-Tag è un header HTTP impostato a livello di server, mentre il meta tag robots è un markup HTML dentro l'<head> di una pagina. L'header funziona anche sui file non HTML, su cui i meta tag non possono intervenire.

Posso usare insieme X-Robots-Tag e robots.txt?

Sì, ma solo se il robots.txt consente ancora la scansione dell'URL. Se la pagina è bloccata (disallow) lì, i crawler non la raggiungono mai e non possono leggere la direttiva dell'X-Robots-Tag.

Come verifico se una pagina ha un X-Robots-Tag?

Guarda gli header di risposta HTTP di quell'URL. Gli strumenti per sviluppatori del browser, un'estensione del browser per ispezionare gli header o un checker dedicato mostrano la risposta grezza, e qualsiasi direttiva X-Robots-Tag sarà al suo interno.

Aggiungere noindex rimuove subito una pagina da Google?

No. Google deve scansionare di nuovo l'URL ed elaborare la direttiva prima che la pagina esca dai risultati, e possono servire da pochi giorni a qualche settimana, a seconda della frequenza con cui la pagina viene scansionata.

Cosa succede se imposto direttive in conflitto sulla stessa pagina?

In genere i motori di ricerca applicano la direttiva più restrittiva quando si creano conflitti, ma fare affidamento su questo è rischioso. Ripulisci le regole in conflitto invece di dare per scontato che vinca sempre quella più severa.

Ottieni un quadro completo dei segnali di indicizzazione del tuo sito

Un controllo singolo ti parla di un solo URL; non ti dice se lo stesso errore di configurazione si sta ripetendo in silenzio nel resto del sito. Se vuoi un quadro completo di come le tue pagine vengono indicizzate, scansionate e servite, X-Robots-Tag compreso, parla con il team e ricevi un report di esempio costruito sui dati del tuo sito.

Fonti

• All You Need To Know About the X- Robots-Tags - DWS
• How to add x-robots-tag for certain url pattern
• X-Robots-Tag 2026 - Build Websites With AI
• x-robots-tags noindex even though robots already set to ...
• How to Add X-Robots-Tag HTTP Header using .htaccess file in ...