Crawling-Fehler: Was sie bedeuten und wie Sie sie schnell beheben
Von Toy Wen Da, Mitgründer · Aktualisiert · 6 Min. Lesezeit
Übersetzt aus dem englischen Original. Auf Englisch lesen
Crawling-Fehler in der Google Search Console bedeuten, dass Googlebot versucht hat, Ihre Website oder eine bestimmte Seite aufzurufen, und den Vorgang nicht abschließen konnte. Die Ursache ist meist ein DNS-Aussetzer, ein Server-Timeout oder eine nicht erreichbare robots.txt-Datei. Prüfen Sie zuerst, ob der Fehler die ganze Website betrifft oder nur eine einzelne URL, denn davon hängt die Lösung ab.
Bevor Sie sich durch die Search Console arbeiten, können Sie die robots.txt in unter einer Minute ausschließen. Der kostenlose Robots.txt Tester prüft, ob Ihre robots.txt-Datei lädt, eine saubere 200-Antwort liefert und Googlebot nicht versehentlich aussperrt – genau das löst die Meldung „robots.txt nicht erreichbar" aus. Lädt die Datei dort einwandfrei, liegt das Problem mit hoher Wahrscheinlichkeit auf dem Server.
Was Ihre Crawling-Fehler tatsächlich verursacht
Google hat diese Unterscheidung schon vor Jahren getroffen: Website-Fehler gegenüber URL-Fehlern. Website-Fehler sind nicht an eine einzelne Seite gebunden. Dazu zählen fehlgeschlagene DNS-Auflösungen, Probleme bei der Server-Verbindung und Fehler beim Abruf der robots.txt, die Googlebot stoppen, bevor er auch nur eine einzige URL anfragt. URL-Fehler entstehen, nachdem Googlebot Ihren Server und die robots.txt erreicht hat, dann aber bei einer bestimmten Seite auf ein Problem stößt, etwa einen 404 oder einen Serverfehler.
| Fehlertyp | Bedeutung | Typische Ursache | Lösung |
|---|---|---|---|
| robots.txt nicht erreichbar | Googlebot kann die robots.txt überhaupt nicht abrufen | Server-Ausfall, Firewall blockiert den IP-Bereich von Googlebot, langsame Antwort | Prüfen Sie, ob die Datei den Status 200 liefert und schnell lädt; setzen Sie Googlebot auf die Whitelist, falls eine Firewall im Spiel ist |
| DNS-Fehler | Googlebot kann Ihre Domain nicht auflösen | Falsch konfigurierte DNS-Einträge, abgelaufene Nameserver-Einträge | Prüfen Sie DNS-Propagierung und Nameserver-Einstellungen mit Ihrem Hoster |
| Server-Verbindung | Googlebot verbindet sich, läuft aber in ein Timeout | Überlasteter Server, zu strenge Ratenbegrenzung | Prüfen Sie die Antwortzeiten des Servers und erhöhen Sie die Limits für den User-Agent von Googlebot |
| 404 / Soft 404 | Eine bestimmte Seite existiert nicht oder liefert dünne Inhalte | Gelöschte Seite, defekter Link, fehlerhaftes Weiterleitungsziel | Stellen Sie die Seite wieder her, leiten Sie per 301 weiter oder entfernen Sie den toten Link |
| Serverfehler (5xx) | Der Server hat für diese URL einen Fehler zurückgegeben | Code-Fehler, Datenbank-Timeout, Plugin-Konflikt | Prüfen Sie die Server-Logs für diesen Pfad und beheben Sie den zugrunde liegenden Fehler |
So beheben Sie Crawling-Fehler in der Google Search Console
Prüfen Sie zuerst den robots.txt-Bericht
Öffnen Sie in der Search Console die Einstellungen (Settings) und suchen Sie den robots.txt-Bericht. Er zeigt, wann Google die Datei zuletzt erfolgreich gelesen hat, und markiert alle Abruffehler. Ein Fehler an dieser Stelle bestätigt einen Website-Fehler, und die Lösung liegt auf Ihrem Server oder beim Hoster, nicht in der Syntax der Datei.
Werfen Sie einen Blick auf die Crawling-Statistiken und den Host-Status
Öffnen Sie ebenfalls unter „Einstellungen" den Bericht „Crawling-Statistiken" (Crawl stats). Er schlüsselt die Crawling-Anfragen nach Antwortcode auf und zeigt den Host-Status (Host status), der DNS-, Verbindungs- und robots.txt-Probleme auf einen Blick markiert. Ein rotes Signal bedeutet hier, dass Googlebot ganz allgemein Mühe hat, Ihren Server zu erreichen – ein umfassenderes Problem als jede einzelne Seite.
Beheben Sie einzelne URL-Fehler
Verwenden Sie bei einer einzelnen defekten Seite das URL-Prüftool (URL Inspection). Fügen Sie die URL ein, prüfen Sie den Indexierungsstatus und sehen Sie genau, was Googlebot gesehen hat. Sobald Sie die Ursache behoben haben (eine wiederhergestellte Seite, eine korrigierte Weiterleitung, einen beseitigten Serverfehler), bitten Sie Google über die Anfrage-Option des Tools, die Seite erneut zu crawlen. Wenn Sie noch unsicher sind, warum Google bestimmte Seiten gar nicht crawlt, behandelt diese Schritt-für-Schritt-Anleitung, damit Google Ihre Website crawlt, die Indexierungsseite des Problems ausführlicher.
Wann die Tools der Search Console ausreichen und wann nicht
Bei einer einzelnen Seite mit einem einmaligen 404 reicht die Search Console völlig aus: URL prüfen, Link oder Weiterleitung korrigieren, erneutes Crawling anfordern. Die kostenlosen Tools decken das gut ab.
Bei wiederkehrenden Problemen, die die ganze Website betreffen, stoßen sie an ihre Grenzen. Wenn die robots.txt regelmäßig nicht erreichbar ist oder die Crawling-Rate von Googlebot immer wieder sinkt, haben Sie es mit einem Muster über die gesamte Website zu tun. Prüfen Sie dann direkt die Server-Logs, kontrollieren Sie die Ratenbegrenzungen auf Hosting-Ebene und untersuchen Sie, wie Ihr CDN die Anfragen von Googlebot behandelt. Wenn Google sich offenbar ganz von Ihrer Website zurückzieht, statt Fehler zu melden, kann manchmal eine Crawl-Delay-Anweisung, die Googlebot ignoriert, auf ungünstige Weise die Ursache sein – das sollten Sie ausschließen, bevor Sie dem Server die Schuld geben.
Häufige Fehler
- Ein erneutes Crawling anfordern, bevor etwas behoben ist. Es reproduziert denselben Fehler.
- Jeden 404 für dringend halten. Manche sind alte Seiten, auf die niemand mehr verlinkt; priorisieren Sie deshalb die mit Traffic oder Backlinks.
- Die IP von Googlebot versehentlich durch ein Sicherheits-Plugin oder eine Firewall-Regel blockieren, die eigentlich für schädliche Bots gedacht war.
- Annehmen, die Syntax der robots.txt sei das Problem, obwohl der Server auf die Anfrage gar nicht antwortet.
- Den Host-Status-Bericht ignorieren und nur einzelne URL-Fehler betrachten, wodurch ein Muster über die ganze Website verborgen bleibt.
Häufig gestellte Fragen
Was bedeutet „robots.txt nicht erreichbar" in der Search Console?
Googlebot hat versucht, Ihre robots.txt-Datei abzurufen, und ist gescheitert: Der Server hat nicht geantwortet, ist in ein Timeout gelaufen oder hat statt des Dateiinhalts einen Fehler zurückgegeben. Das gilt als Website-Fehler, weil dadurch das Crawling Ihrer gesamten Domain blockiert werden kann.
Wie lange dauert es, bis Google nach der Behebung eines Fehlers erneut crawlt?
Einen festen Zeitrahmen gibt es nicht. Google kommt je nach Crawling-Priorität einer Seite und dem gesamten Crawl-Budget Ihrer Website wieder vorbei. Eine Indexierungsanfrage über das URL-Prüftool kann die Sache beschleunigen, garantiert aber kein sofortiges erneutes Crawling.
Schaden Crawling-Fehler meinem Ranking?
Ein paar vereinzelte 404-Fehler tun das in der Regel nicht. Ein Website-weiter Fehler, etwa eine robots.txt, die über längere Zeit nicht erreichbar ist, kann Google daran hindern, neue oder aktualisierte Inhalte zu crawlen, und das wirkt sich mit der Zeit auf die Sichtbarkeit aus.
Worin besteht der Unterschied zwischen Crawling-Fehlern und Indexierungsfehlern?
Ein Crawling-Fehler bedeutet, dass Googlebot die Seite oder Datei überhaupt nicht abrufen konnte. Ein Indexierungsfehler bedeutet, dass Googlebot die Seite problemlos abgerufen, sich aber gegen die Aufnahme in den Index entschieden hat – oft wegen eines noindex-Tags, doppelter Inhalte oder eines Canonicals, das woanders hinzeigt.
Kann ein Crawling-Fehler verschwinden und wiederkehren?
Ja. Ist die Ursache sporadisch, etwa ein Server, der nur unter Last in ein Timeout läuft, kann der Fehler bei einem guten Crawl verschwinden und beim nächsten wieder auftauchen. Prüfen Sie dann neben der betroffenen Seite auch die Server-Performance.
Prüfen Sie noch heute Ihren robots.txt-Bericht
Beginnen Sie mit dem robots.txt-Bericht und den Crawling-Statistiken in der Search Console, denn dort lässt sich eine Meldung „robots.txt nicht erreichbar" auf ihre eigentliche Ursache zurückführen. Wenn Sie schneller wissen möchten, ob die Datei das Problem ist, bevor Sie Servereinstellungen anfassen, lassen Sie die Seite zuerst durch den kostenlosen Robots.txt Tester laufen. Und wenn Crawling-Fehler auf Ihrer Website immer wieder auftauchen und nicht nur auf einer Seite, sprechen Sie mit dem Team und lassen Sie sich einen Bericht erstellen, der genau zeigt, was Googlebot blockiert.
Über den Autor
SearchBlueprint hat diesen Artikel mit der Content-Pipeline recherchiert, geschrieben und bewertet, die unsere Kunden auf ihren eigenen Websites einsetzen. Die Bewertung in der Autorenzeile ist die, die unsere Content-Engine dieser Seite vor der Veröffentlichung gegeben hat. Nichts davon wird von Hand geprüft, und genau das ist der Punkt: Es ist das Ergebnis des Produkts, veröffentlicht dort, wo jeder es nachprüfen kann.