Robots.txt Crawl-delay: Warum Googlebot es ignoriert (und was wirklich funktioniert)

Q: Wie funktionieren Wildcards in der robots.txt?

Das Sternchen (*) steht für eine beliebige Zeichenfolge, das Dollarzeichen ($) verankert eine Regel am Ende einer URL. Unachtsam kombiniert sind sie die häufigste Ursache für versehentliches Überblocken.

Von Toy Wen Da, Mitgründer · Aktualisiert 30. Oktober 2026 · 5 Min. Lesezeit

Übersetzt aus dem englischen Original. Auf Englisch lesen

Auf X teilen Auf LinkedIn teilen

Crawl-delay in der robots.txt ist eine Anweisung, die einem Crawler vorgibt, wie viele Sekunden er zwischen zwei Anfragen an Ihren Server warten soll. Der Haken: Google unterstützt sie überhaupt nicht. Zuerst müssen Sie also herausfinden, welche Bots Ihre Website tatsächlich stark belasten, und dann für jeden eine Lösung wählen, die er auch beachtet.

Das Wichtigste in Kürze

Google ignoriert die Crawl-delay-Anweisung in der robots.txt vollständig. Das Feld wird nicht unterstützt, egal wo Sie es platzieren.
Bing und Yandex beachten Crawl-delay und behandeln die Zahl als Mindestwartezeit in Sekunden zwischen den Anfragen.
Wildcard-Regeln (* und $) sind die häufigere Ursache für echte Schäden, denn ein verirrtes Sternchen kann weit mehr von Ihrer Website sperren, als Sie beabsichtigt haben.
Eine einmalige Lastspitze ist meist kein robots.txt-Problem. Oft liegt es an den Serverressourcen oder am Bot-Management, und das lässt sich mit der robots.txt nicht beheben.
Eine einzelne URL zu prüfen ist etwas anderes, als eine ganze Domain zu auditieren. Entscheiden Sie also, welcher Fall bei Ihnen vorliegt, bevor Sie ein Tool auswählen.

Ein Spielzeugroboter in leuchtenden Farben auf dunklem Untergrund, als Sinnbild für einen Crawler, der Regeln befolgt.

Bevor Sie etwas ändern, prüfen Sie Ihre Datei mit dem kostenlosen Robots.txt Tester. Geben Sie Ihre URL ein, und das Tool zeigt Ihnen, welche Regeln für welchen User-Agent gelten, auch eine Crawl-delay-Zeile in einem Block, den Googlebot überspringt.

Was Crawl-delay in der robots.txt steuert

Eine Crawl-delay-Zeile steht innerhalb eines User-agent-Blocks:

User-agent: Bingbot
Crawl-delay: 10

Damit wird Bingbot angewiesen, zwischen zwei Zugriffen 10 Sekunden zu warten. Es ist ein grobes Mittel, das seit Jahren informell zum Robots Exclusion Protocol gehört, aber nie für alle Crawler standardisiert wurde.

Googlebot liest und befolgt die Anweisung nicht. Wenn also Google der Crawler ist, der Ihren Server belastet, nützt Ihnen die Anweisung nichts. Bing und Yandex beachten sie dagegen, womit sie sich eignet, wenn diese Bots die Last verursachen. DuckDuckGo stützt sich stark auf den Index von Bing und crawlt selten in vergleichbarem Umfang selbstständig.

Ein 3D-gerenderter Roboter mit Tentakelarmen und dem Wort HOAX, als Sinnbild für einen Crawler, dessen Anweisungen ignoriert werden.

Crawler	Unterstützt Crawl-delay?	Was die Crawl-Rate tatsächlich steuert	Hinweis
Googlebot	Nein	Automatisch, abhängig von der Serverantwort und dem Zustand der Website	Googles eigene Dokumentation besagt, dass das Crawl-delay-Feld nicht verwendet wird
Bingbot	Ja	Der von Ihnen festgelegte Zahlenwert in Sekunden	Wird als Mindestwartezeit zwischen Anfragen behandelt
Yandex	Ja	Dasselbe Crawl-delay-Feld	Wird wörtlich als Sekunden interpretiert
DuckDuckBot	Uneinheitlich	Stützt sich überwiegend auf die Crawl-Daten von Bing	Verursacht für sich allein selten eine nennenswerte Serverlast

So korrigieren Sie Crawl-delay- und Wildcard-Regeln auf Ihrer eigenen Website

Ein Spielzeugroboter mit einer metallischen Schraube zwischen Werkzeugen, als Sinnbild für die schrittweise Reparatur einer robots.txt-Datei.

Gehen Sie diese Schritte der Reihe nach durch:

Finden Sie Ihre Datei. Öffnen Sie yoursite.com/robots.txt in einem Browser. Die Datei muss im Stammverzeichnis der Domain liegen, eine Kopie in einem Unterordner wird nicht gelesen.
Suchen Sie den Editor. In den meisten CMS finden Sie ihn unter einem Menü wie „Settings“ oder „SEO“, oft mit der Bezeichnung „Robots.txt“ oder „Crawler Access“. Bei einer individuell programmierten Website ist es meist eine statische Datei, die Ihr Entwickler bearbeitet und ausspielt.
Prüfen Sie, ob unter Googlebot Crawl-delay-Zeilen stehen. Löschen Sie alle, die Sie finden. Sie bewirken nichts und machen die Datei nur unübersichtlich für die nächste Person, die sie bearbeitet.
Prüfen Sie Ihre Wildcard-Regeln. Eine Zeile wie Disallow: /*.pdf$ sperrt jedes PDF, was meist gewollt ist. Disallow: /category* kann dagegen unbemerkt jede URL sperren, die mit dieser Zeichenfolge beginnt, darunter auch Seiten, die indexiert werden sollten. Lesen Sie deshalb jede Wildcard-Regel so, wie ein Crawler es tut: wörtlich.
Speichern Sie die Datei und testen Sie danach die Live-Version erneut mit dem Robots.txt Tester, statt sich darauf zu verlassen, was Sie Ihrer Erinnerung nach getippt haben.
Wenn Sie eine saubere Datei von Grund auf brauchen, erzeugt der Robots.txt Generator eine gültige Syntax ohne die verirrten Wildcard-Fehler, die beim manuellen Bearbeiten entstehen.

Wann die Tools Ihrer Website ausreichen und wann nicht

Eine Nahaufnahme eines futuristischen Spielzeugroboters auf einer spiegelnden Oberfläche, als Sinnbild für die Wahl zwischen einer schnellen Prüfung und einem vollständigen Audit.

Eine einzelne URL gegen Ihre robots.txt zu prüfen, dauert mit jedem brauchbaren Tester nur Sekunden: URL einfügen und nachsehen, ob sie erlaubt oder gesperrt ist.

Ein wiederkehrendes oder die ganze Website betreffendes Problem ist etwas anderes. Wenn Seiten in einem ganzen Bereich aus den Suchergebnissen verschwinden oder ein Entwickler bei einem Deployment eine neue robots.txt eingespielt hat, ohne dass es jemand bemerkt hat, suchen Sie nicht mehr den Fehler in einer Zeile, sondern auditieren ein Muster. Dafür brauchen Sie einen vollständigen Crawl der Website, der mit der Datei abgeglichen wird.

Für eine einzelne URL und eine einmalige Prüfung reicht ein kostenloser Tester.
Für ein Audit der gesamten Website, ein dauerhaftes Monitoring oder eine Website, deren robots.txt ohne Freigabe geändert wurde, brauchen Sie ein fortlaufendes technisches Monitoring.

Häufige Fehler bei Crawl-delay und Wildcards

Ein Crawl-delay unter User-agent: * eintragen und erwarten, dass es Google ausbremst.
Eine Wildcard schreiben, die für einen Ordner gedacht ist, aber auch ein Dutzend anderer mit demselben Präfix erfasst.
Den Endanker $ vergessen, sodass Disallow: /checkout auch /checkout-help und /checkout-faq sperrt.
Einen Entwickler die Live-Datei bei einem Deployment ohne Prüfschritt bearbeiten lassen.
Die robots.txt als Sicherheitsmaßnahme betrachten, obwohl sie nur höfliche Crawler abhält und den Zugriff nicht einschränkt.

Häufig gestellte Fragen

Funktioniert Crawl-delay in der robots.txt für Google?

Nein. Google hat klargestellt, dass es das Crawl-delay-Feld in der robots.txt nicht unterstützt. Wenn Googlebot Ihren Server überlastet, nutzen Sie stattdessen Search Console oder eine Ratenbegrenzung auf Serverebene.

Welche Suchmaschinen beachten Crawl-delay?

Bing und Yandex beachten die Anweisung beide als Mindestanzahl von Sekunden zwischen Anfragen. Google und die meisten modernen KI-Crawler tun das nicht.

Was ist der Unterschied zwischen Disallow und Crawl-delay?

Disallow sperrt einen Crawler vollständig für einen URL-Pfad. Crawl-delay sperrt nichts und bittet einen kooperativen Crawler lediglich, langsamer zu arbeiten.

Wie funktionieren Wildcards in der robots.txt?

Das Sternchen (*) steht für eine beliebige Zeichenfolge, das Dollarzeichen ($) verankert eine Regel am Ende einer URL. Unachtsam kombiniert sind sie die häufigste Ursache für versehentliches Überblocken.

Kann eine falsche robots.txt-Regel meine Seiten aus dem Index entfernen?

Ja. Wenn eine Wildcard-Disallow-Regel auf Seiten zutrifft, die zuvor indexiert waren, hören Suchmaschinen auf, sie zu crawlen, und nehmen sie irgendwann aus den Ergebnissen.

Lassen Sie Ihre robots.txt richtig prüfen

Prüfen Sie Ihre Live-Datei mit dem Robots.txt Tester, bevor Sie davon ausgehen, dass eine Crawl-delay- oder Wildcard-Regel wie beabsichtigt funktioniert, denn die meisten Probleme in dieser Datei gehen auf ein einziges falsch gesetztes Zeichen zurück. Wenn Sie eine zweite Meinung dazu möchten, wie Ihre gesamte Website gecrawlt wird, sprechen Sie mit dem Team und fordern Sie einen Beispielbericht dazu an, was Ihre Seiten blockiert.

Ressourcen / Referenzen

Quellen

Über den Autor

SearchBlueprint hat diesen Artikel mit der Content-Pipeline recherchiert, geschrieben und bewertet, die unsere Kunden auf ihren eigenen Websites einsetzen. Die Bewertung in der Autorenzeile ist die, die unsere Content-Engine dieser Seite vor der Veröffentlichung gegeben hat. Nichts davon wird von Hand geprüft, und genau das ist der Punkt: Es ist das Ergebnis des Produkts, veröffentlicht dort, wo jeder es nachprüfen kann.