Suchmaschinen davon abhalten, diese Website zu indexieren: Eine Anleitung zur Einrichtung

Wenn Sie das Kontrollkästchen Suchmaschinen davon abhalten, diese Website zu indexieren aktivieren, fügt WordPress Ihrer robots.txt eine „noindex“-Regel hinzu und bittet Google, Bing und andere Crawler, Ihre Seiten zu überspringen. Das ist eine Bitte, kein Schloss: Gut programmierte Bots halten sich daran, aber Ihre Inhalte werden dadurch weder passwortgeschützt noch sind direkte Links blockiert.

Was dieses Kontrollkästchen tatsächlich bewirkt

Wenn Sie „Suchmaschinen davon abhalten, diese Website zu indexieren“ aktivieren und Ihre WordPress-Leseeinstellungen speichern, passieren im Hintergrund typischerweise zwei Dinge.

Erstens schreibt WordPress die robots.txt Ihrer Website um, die einfache Textdatei, die Crawler prüfen, bevor sie irgendetwas crawlen, sodass sie Folgendes enthält:

User-agent: *
Disallow: /

Das weist jeden regelkonformen Crawler an, keine Seite Ihrer Domain abzurufen. Zweitens fügen viele WordPress-Installationen zusätzlich ein noindex, follow-Meta-Tag in den Kopfbereich Ihrer Seiten ein. Das ist eine direktere Anweisung: Selbst wenn ein Bot die Seite sieht, soll er sie nicht in den Suchergebnissen aufführen.

Warum „abhalten“ und nicht „blockieren“

WordPress verwendet den Begriff „abhalten“ mit Absicht. Die Entwicklerdokumentation von Google erklärt, dass robots.txt-Direktiven Anweisungen sind und keine Zugriffskontrollen: Regelkonforme Crawler wie Googlebot beachten sie, aber die Datei kann den Zugriff nicht physisch verhindern, so wie es ein Passwort oder eine Firewall-Regel kann (Quelle: Google Search Central). Ignoriert ein Bot die robots.txt oder verlinken andere Websites direkt auf Ihre Seiten, können Ihre Inhalte trotzdem in den Ergebnissen auftauchen.

Noindex und robots.txt: Sie ergänzen sich schlecht

Hier machen die meisten Menschen die häufigsten Fehler. Ist eine Seite in der robots.txt gesperrt, crawlen Suchmaschinen sie nie und sehen deshalb auch kein noindex-Tag auf dieser Seite. Beides gleichzeitig auf derselben URL einzusetzen, kann nach hinten losgehen: Der Crawler hält an der robots.txt an und liest die noindex-Anweisung nie, sodass eine bereits indexierte Seite länger im Index bleiben kann, als wenn Sie nur noindex verwendet hätten. Wählen Sie pro URL eine Methode, nicht beide.

Wann Sie diese Einstellung tatsächlich verwenden sollten

Nicht jede Website sollte diesen Schalter umlegen, und nicht jeder Grund dafür ist ein guter. So lassen sich die häufigsten Fälle einordnen.

Situation	Empfohlenes Vorgehen	Warum
Website in aktiver Entwicklung unter einer Live-URL	Aktivieren Sie die Einstellung oder, besser, nutzen Sie eine passwortgeschützte Staging-Subdomain	Hält unfertige Seiten aus der Suche heraus, während Sie arbeiten
Privater oder Familienblog	Aktivieren Sie die Einstellung und erwägen Sie ein Plugin, das den Zugriff beschränkt	Das Kontrollkästchen allein hält direkte Besucher nicht ab
Internes Firmen-Intranet oder Dashboard	Passwortschutz auf Serverebene, nicht nur dieses Kontrollkästchen	Die robots.txt ist eine Bitte; sie blockiert keine Unbefugten
Vollständig gestartete Website, die Traffic will	Lassen Sie das Kontrollkästchen deaktiviert	Diese Einstellung unterdrückt aktiv Ihre organische Sichtbarkeit
Wiederverwendete Domain mit alten Backlinks	Vorübergehend aktivieren, alte Links prüfen, beim Launch wieder deaktivieren	Verschafft Ihnen Zeit zum Aufräumen, bevor die Öffentlichkeit etwas sieht

Der eine Fehler, der den Traffic einbrechen lässt

Die häufigste WordPress-Support-Anfrage zu dieser Einstellung lautet nicht „Wie schalte ich sie ein?“, sondern „Warum ist mein Traffic verschwunden?“. Websites werden von der Staging- in die Produktivumgebung migriert, und das Kontrollkästchen zum Abhalten der Indexierung wandert versehentlich aktiviert mit. Jede Seite der Live-Website sagt Google dann im Grunde, sie nicht zu indexieren, und Rankings, die über Monate aufgebaut wurden, können sich unbemerkt in Luft auflösen. Prüfen Sie diese Einstellung deshalb immer unmittelbar nach jeder Website-Migration oder jedem Relaunch.

So schalten Sie sie richtig ein (oder aus)

1. Melden Sie sich im WordPress-Admin-Dashboard an.
2. Gehen Sie zu Einstellungen → Lesen (Settings → Reading).
3. Suchen Sie „Sichtbarkeit für Suchmaschinen“ (Search Engine Visibility).
4. Aktivieren Sie das Kontrollkästchen „Suchmaschinen davon abhalten, diese Website zu indexieren“ (Discourage search engines from indexing this site).
5. Klicken Sie auf Änderungen speichern (Save Changes).

Rückgängig machen Sie es auf demselben Weg in umgekehrter Richtung: Kontrollkästchen deaktivieren und speichern. Doch das Deaktivieren stellt Ihre Rankings nicht sofort wieder her. Suchmaschinen müssen Ihre Website erneut crawlen, die geänderte robots.txt bemerken und Ihre Seiten wieder in ihren Index aufnehmen. Das kann je nachdem, wie oft Ihre Website gecrawlt wird, von wenigen Tagen bis zu mehreren Wochen dauern.

Wenn Ihre Seiten bereits indexiert sind

Das Aktivieren des Kontrollkästchens stoppt das künftige Crawling, löscht aber keine Seiten, die Suchmaschinen bereits haben. Wenn Google Ihre Inhalte indexiert hat, bevor Sie diese Einstellung aktiviert haben, ist zum Entfernen ein zusätzlicher Schritt nötig:

• Fügen Sie den betroffenen Seiten direkt ein noindex-Meta-Tag hinzu (kombinieren Sie das aus dem oben genannten Grund nicht mit einer robots.txt-Sperre für dieselben URLs).
• Stellen Sie sicher, dass die Seite weiterhin öffentlich zugänglich ist: Eine passwortgeschützte oder private Seite kann nicht gecrawlt werden, sodass ein Bot das noindex-Tag, das ihn zum Entfernen der Seite auffordert, nie lesen kann.
• Nutzen Sie das URL-Entfernungstool der Google Search Console, um die Deindexierung zu beschleunigen, statt auf ein natürliches erneutes Crawling zu warten.
• Vergewissern Sie sich, dass keine widersprüchliche Disallow-Regel in der robots.txt den Crawler daran hindert, das noindex-Tag überhaupt zu erreichen.

Das entspricht der Art, wie große Plattformen dasselbe Problem lösen: Die HubSpot-Dokumentation zum Verhindern, dass Inhalte in Suchergebnissen erscheinen, beschreibt genau dieselbe Abfolge: robots.txt für Inhalte, die noch nicht indexiert sind, noindex-Tags für Inhalte, die es bereits sind. Die Logik gilt unabhängig davon, welches CMS Sie einsetzen.

Warum ein Kontrollkästchen keine echte Sicherheit ist

Wenn Ihr Ziel tatsächlich ist, zu verhindern, dass Menschen sensible Inhalte finden oder ansehen, und nicht nur, sie aus Google herauszuhalten, ist diese Einstellung das falsche Werkzeug. Sie spricht nur mit Suchmaschinen, die sich entscheiden zuzuhören. Für echte Privatsphäre brauchen Sie einen Passwortschutz auf Serverebene für das Verzeichnis, der Bots und Menschen blockiert, noch bevor WordPress überhaupt lädt. Wenn Sie unsicher sind, welcher Ansatz zu Ihrer Situation passt, zeigt Ihnen ein Blick darauf, wie die Indexierung durch Suchmaschinen tatsächlich funktioniert, warum eine auf Bitten beruhende Einstellung keine Zugriffskontrolle ersetzen kann.

Prüfen, ob es funktioniert hat

Rufen Sie nach dem Speichern der Einstellung yourdomain.com/robots.txt direkt im Browser auf. Unter der User-agent-Zeile sollte Disallow: / stehen. Sehen Sie das nicht, wurden Ihre Änderungen nicht gespeichert, oder eine Caching-Schicht liefert eine alte Version der Datei aus. Leeren Sie in diesem Fall Ihren Cache und prüfen Sie erneut.

Bedenken Sie auch, dass „Suchmaschinen“ nicht nur ein einzelnes Unternehmen sind. Bing veröffentlicht eigene Crawling-Regeln getrennt von denen von Google (siehe Bing Webmaster Guidelines), und obwohl die meisten großen Crawler das Standardformat der robots.txt beachten, kann sich ihr Verhalten leicht unterscheiden. Wenn Sie bisher nur an Google denken, lohnt sich ein kurzer Blick auf die verschiedenen Arten von Suchmaschinen, die Ihrer Website Traffic bringen (oder vorenthalten) könnten.

Häufig gestellte Fragen

Entfernt das Aktivieren dieses Kontrollkästchens meine Website sofort aus Google?

Nein. Es stoppt neues Crawling für die Zukunft, aber Seiten, die bereits im Google-Index sind, bleiben dort, bis Google Ihre Website erneut crawlt und die Änderung bemerkt, typischerweise nach Tagen bis Wochen, schneller mit dem Entfernungstool der Search Console.

Hält diese Einstellung Menschen davon ab, meine Website direkt zu besuchen?

Nein. Sie bittet Suchmaschinen lediglich, Ihre Seiten nicht in den Ergebnissen aufzuführen. Jeder mit einem direkten Link, einem Lesezeichen oder der genauen URL Ihrer Website kann sie weiterhin ganz normal besuchen.

Kann ich diese Einstellung und ein noindex-Tag gleichzeitig auf derselben Seite verwenden?

Das ist nicht empfehlenswert. Eine Disallow-Regel in der robots.txt hindert Crawler daran, die Seite überhaupt zu erreichen, sodass sie das noindex-Tag nie sehen. Die beiden Anweisungen können sich gegenseitig behindern, statt sich zu verstärken.

Ich habe meine Website gerade gestartet und der Traffic ist auf null gefallen. Könnte diese Einstellung die Ursache sein?

Ja, das ist eine der häufigsten Ursachen. Prüfen Sie sofort Einstellungen → Lesen. Wenn das Kontrollkästchen nach einer Migration von der Staging-Umgebung aktiviert geblieben ist, deaktivieren Sie es und speichern Sie.

Beachten alle Suchmaschinen diese Bitte?

Nein. Sie beruht auf freiwilliger Einhaltung. Große Suchmaschinen wie Google und Bing beachten die robots.txt im Allgemeinen, aber sie wird ausdrücklich als Direktive beschrieben, nicht als durchgesetzte Sperre, sodass manche Crawler oder böswillige Akteure sie missachten können.

Sehen Sie genau, was auf Ihrer Website passiert

Bevor Sie die Einstellung Suchmaschinen davon abhalten, diese Website zu indexieren ein- oder ausschalten, hilft es zu wissen, was gerade tatsächlich indexiert ist und was nicht, denn Raten ist der Grund, warum Migrationen schiefgehen. Sprechen Sie mit dem Team und holen Sie sich einen SEO-Beispielbericht, um den aktuellen Indexierungsstatus, Crawling-Probleme und die Sichtbarkeit Ihrer Website auf einen Blick zu sehen, bevor Sie die Änderung vornehmen.

Ressourcen / Referenzen

1. Google Search Central
2. Bing Webmaster Guidelines

Weiterführende Lektüre: X-Robots-Tag: How to Check, Set, and Fix It (2026).

Quellen

• Prevent content from appearing in search results
• Prevent website completely from being indexed by any ...
• What is the best way to stop search engines from indexing ...
• How to Stop Search Engine Crawlers From Crawling Your Site
• Prevent Search Engines from Crawling Your Site: Your Guide