X-Robots-Tag: So prüfen, setzen und korrigieren Sie ihn (2026)

Ein X-Robots-Tag ist ein HTTP-Response-Header, der Suchmaschinen mitteilt, ob eine Seite oder Datei indexiert werden soll und ob ihren Links gefolgt werden soll. Da er in der Antwort des Servers statt im HTML übermittelt wird, funktioniert er bei PDFs, Bildern und jedem anderen Dateityp. Um ihn zu ändern, bearbeiten Sie Ihre Server-Konfiguration oder die Header-Einstellungen Ihres CMS und bestätigen das Ergebnis anschließend anhand der Live-Antwort.

Bevor Sie etwas ändern, sehen Sie sich an, was Ihre Website aktuell sendet. Der kostenlose Meta-Tag-Checker ruft die Live-Response-Header und Meta-Tags für jede beliebige URL ab. So sehen Sie in einem Durchgang, ob ein X-Robots-Tag vorhanden ist, welche Direktive er enthält und ob er mit einem Meta-Robots-Tag auf derselben Seite in Konflikt steht.

Was ein X-Robots-Tag bewirkt

Der Tag enthält in der HTTP-Antwort eine oder mehrere durch Kommas getrennte Direktiven. Suchmaschinen lesen sie genauso wie ein Meta-Robots-Tag. Da die Anweisung aber im Header steht, gilt sie für jede Datei, die der Server ausliefert, und nicht nur für HTML-Seiten.

In ein PDF oder ein JPEG lässt sich kein Meta-Tag einfügen. Wenn Sie also eine herunterladbare Datei oder ein Bild aus den Suchergebnissen heraushalten möchten, ist der X-Robots-Tag Ihre einzige Möglichkeit.

Die am häufigsten verwendeten Direktiven

Direktive	Was sie bewirkt	Typischer Anwendungsfall
noindex	Hält die Seite oder Datei aus den Suchergebnissen heraus	Interne Berichte, Staging-Seiten, doppelte PDFs
nofollow	Weist Crawler an, den Links auf dieser URL nicht zu folgen	Seiten mit ausgehenden Links, über die Sie keine Autorität weitergeben möchten
noarchive	Verhindert, dass Google eine zwischengespeicherte Kopie anzeigt	Seiten mit zeitkritischen Preisen oder Inhalten
nosnippet	Blockiert eine Text- oder Bildvorschau in den Ergebnissen	Inhalte, die nicht als Auszug in der SERP erscheinen sollen
unavailable_after	Entfernt die Seite nach einem festgelegten Datum aus den Ergebnissen	Zeitlich begrenzte Angebote, abgelaufene Einträge

So setzen Sie ihn auf Ihrer eigenen Website

Die Schritte hängen von Ihrem Server ab, das Muster ist aber überall gleich: Fügen Sie den Header auf Serverebene hinzu und prüfen Sie ihn anschließend auf der Live-URL.

Unter Apache (.htaccess)

1. Öffnen Sie die .htaccess-Datei Ihrer Website.
2. Legen Sie den Dateityp fest, den Sie steuern möchten, zum Beispiel PDFs:

   <Files ~ "\.pdf$">
   Header set X-Robots-Tag "noindex, nofollow"
   </Files>
   

3. Speichern Sie die Datei und laden Sie sie in das Stammverzeichnis Ihres Servers hoch.
4. Laden Sie die betroffene URL neu und bestätigen Sie, dass der Header in der Antwort erscheint.

Unter Nginx

1. Öffnen Sie die Konfiguration Ihres Server-Blocks.
2. Fügen Sie eine Location-Regel für den Dateityp hinzu, zum Beispiel für Bilder:

   location ~* \.(png|jpe?g|gif)$ {
     add_header X-Robots-Tag "noindex";
   }
   

3. Laden Sie Nginx neu, damit die Konfiguration wirksam wird.

Unter WordPress oder einem verwalteten CMS

Die meisten CMS-Plattformen steuern Meta-Robots-Tags über die Einstellungen auf Seitenebene eines SEO-Plugins. Das ist für gewöhnliche Seiten und Beiträge einfacher. Greifen Sie zum X-Robots-Tag, wenn Sie PDFs, Downloads oder andere Nicht-HTML-Dateien blockieren müssen, an die ein Plugin nicht herankommt. Bietet Ihr CMS keine Header-Steuerung, müssen Sie in der Regel die Server-Konfiguration über den Dateimanager Ihres Hosters bearbeiten oder Ihre Entwicklerin bzw. Ihren Entwickler bitten, die Regel hinzuzufügen.

Vergewissern Sie sich vor und nach jeder Änderung, dass Ihre robots.txt-Datei nicht dieselbe URL blockiert, denn Crawler, die eine Seite nicht erreichen können, sehen die darin enthaltene Direktive nie. Prüfen Sie die URL mit einem robots.txt-Tester, um das auszuschließen. Wenn Sie die Datei komplett neu aufbauen müssen, erzeugt Ihnen ein robots.txt-Generator eine gültige Datei ohne die Syntaxfehler, die versehentliche Sperren der gesamten Website verursachen.

Robots.txt, Meta-Robots oder X-Robots-Tag?

Diese drei Werkzeuge klingen ähnlich und werden ständig verwechselt, lösen aber jeweils ein anderes Problem.

Werkzeug	Wo es liegt	Steuert	Am besten geeignet für
Robots.txt	Textdatei auf Stammebene	Worauf Crawler zugreifen dürfen	Das Sperren des Crawlings ganzer Ordner oder Bereiche
Meta-Robots-Tag	Im HTML-<head>	Die Indexierung einer einzelnen HTML-Seite	Einfache Steuerung Seite für Seite bei Standardseiten
X-Robots-Tag	HTTP-Response-Header	Die Indexierung jedes Dateityps	PDFs, Bilder, große Mengen von URLs nach Muster

Die robots.txt regelt das Crawling, die beiden anderen regeln die Indexierung. Eine Seite kann crawlbar sein und dennoch mit noindex aus den Ergebnissen herausgehalten werden. Bei einer Seite, deren Crawling blockiert ist, wird die Indexierungsanweisung dagegen überhaupt nie gelesen.

Wann Ihre eigenen Tools ausreichen und wann nicht

Ein kostenloser Header-Checker genügt für eine einzelne URL: Sie haben gerade eine Änderung vorgenommen und möchten bestätigen, dass sie greift, oder jemand meldet, dass eine Seite in der Suche auftaucht, die dort nicht sein sollte. Der kostenlose Meta-Tag-Checker erledigt das in Sekunden.

Er reicht nicht mehr aus, sobald das Problem Ihre gesamte Website betrifft, etwa bei einer Server-Migration, die Ihre Header-Regeln gelöscht hat, einer CDN-Konfiguration, die für jeden Dateityp ausgerollt wurde, oder einem WordPress-Plugin-Update, das unbemerkt das Standardverhalten geändert hat. Dann müssen Sie herausfinden, welche von Hunderten oder Tausenden Seiten ein unerwünschtes noindex erhalten hat. Ein regelmäßiges technisches Audit leistet das besser als eine manuelle Stichprobe, da ein einmaliger Blick keinen Rückschritt erkennt, der erst nächsten Monat auftritt.

Häufige Fehler

• noindex sowohl in der robots.txt als auch im X-Robots-Tag zu setzen. Blockiert die robots.txt die URL, liest Google den Header nie, sodass die Indexierungsanweisung ungenutzt bleibt.
• Den Header auf einen ganzen Dateityp anzuwenden, obwohl nur einige Dateien ihn brauchen. Eine pauschale PDF-Regel kann versehentlich Dokumente aus dem Index entfernen, die gefunden werden sollten.
• Nach einer Server-Migration nicht zu prüfen. Neue Hosting-Umgebungen entfernen benutzerdefinierte Header-Regeln oft ohne Vorwarnung.
• nofollow auf der Seite mit rel="nofollow" an einem Link zu verwechseln. Ersteres gilt für die gesamte Seite, Letzteres nur für den einzelnen Link.
• Anzunehmen, dass eine Plugin-Einstellung Nicht-HTML-Dateien abdeckt. Die meisten SEO-Plugins betreffen nur Meta-Tags auf Seiten und Beiträgen, nicht direkt ausgelieferte PDFs oder Bilder.

Häufig gestellte Fragen

Funktioniert der X-Robots-Tag genauso wie ein Meta-Robots-Tag?

Beide akzeptieren dieselben Direktiven. Der X-Robots-Tag ist jedoch ein HTTP-Header, der auf Serverebene gesetzt wird, während das Meta-Robots-Tag HTML-Markup im <head> einer Seite ist. Der Header funktioniert außerdem bei Nicht-HTML-Dateien, an die Meta-Tags nicht herankommen.

Kann ich den X-Robots-Tag und die robots.txt gemeinsam verwenden?

Ja, aber nur, wenn die robots.txt das Crawling der URL weiterhin erlaubt. Ist die Seite dort gesperrt (Disallow), erreichen Crawler sie nicht und können die Direktive des X-Robots-Tags nicht lesen.

Wie prüfe ich, ob eine Seite einen X-Robots-Tag hat?

Rufen Sie die HTTP-Response-Header dieser URL auf. Die Entwicklertools des Browsers, eine Browser-Erweiterung zur Header-Prüfung oder ein spezialisierter Checker zeigen jeweils die Rohantwort an, und jede X-Robots-Tag-Direktive steht darin.

Entfernt noindex eine Seite sofort aus Google?

Nein. Google muss die URL erneut crawlen und die Direktive verarbeiten, bevor die Seite aus den Ergebnissen verschwindet. Das kann je nachdem, wie oft die Seite gecrawlt wird, von wenigen Tagen bis zu einigen Wochen dauern.

Was passiert, wenn ich auf derselben Seite widersprüchliche Direktiven setze?

Suchmaschinen wenden bei Konflikten im Allgemeinen die restriktivere Direktive an, sich darauf zu verlassen ist aber riskant. Bereinigen Sie widersprüchliche Regeln, statt anzunehmen, dass sich die strengere immer durchsetzt.

Verschaffen Sie sich einen vollständigen Überblick über die Indexierungssignale Ihrer Website

Eine einmalige Prüfung sagt Ihnen etwas über eine einzelne URL, aber nicht, ob sich dieselbe Fehlkonfiguration unbemerkt auf Ihrer ganzen Website wiederholt. Wenn Sie ein vollständiges Bild davon möchten, wie Ihre Seiten indexiert, gecrawlt und ausgeliefert werden, einschließlich des X-Robots-Tags, sprechen Sie mit dem Team und lassen Sie sich einen Beispielbericht auf Basis der Daten Ihrer eigenen Website erstellen.

Quellen

• All You Need To Know About the X- Robots-Tags - DWS
• How to add x-robots-tag for certain url pattern
• X-Robots-Tag 2026 - Build Websites With AI
• x-robots-tags noindex even though robots already set to ...
• How to Add X-Robots-Tag HTTP Header using .htaccess file in ...