Google dazu bringen, Ihre Website zu crawlen: Schritt-für-Schritt-Anleitung
Von Toy Wen Da, Mitgründer · Aktualisiert · 7 Min. Lesezeit
Übersetzt aus dem englischen Original. Auf Englisch lesen
Wenn Sie danach gesucht haben, wie Sie Google dazu bringen, Ihre Website zu crawlen, finden Sie die schnellste Lösung in der Google Search Console: Führen Sie für die Seite die URL-Prüfung (URL Inspection) aus und klicken Sie dann auf „Indexierung beantragen" (Request Indexing). Damit erhält Googlebot ein direktes Signal, die Seite zu besuchen. Taucht die Seite trotzdem nicht auf, liegt die Ursache meist an einer sperrenden robots.txt-Regel, einem versehentlich gesetzten noindex-Tag oder einer veralteten Sitemap.
Bevor Sie in der Search Console auf Fehlersuche gehen, lohnt es sich, Ihre Seite so zu sehen, wie Googlebot sie sieht. Der kostenlose Googlebot Simulator von SearchBlueprint zeigt, was ein Crawler erhält, wenn er Ihre URL abruft: den Statuscode, den gerenderten Inhalt und jede Weiterleitung, der er folgt. So wissen Sie, ob das Problem bei Ihnen liegt, noch bevor Sie eine einzige Einstellung ändern.
Warum Google Ihre Website noch nicht gecrawlt hat
Googlebot crawlt nicht jede Seite im Internet nach einem festen Zeitplan. Er setzt Prioritäten danach, wie oft sich eine Website ändert, wie viele andere Seiten auf sie verlinken und ob ihn etwas aktiv am Zugriff hindert. Neue Websites, frisch veröffentlichte Seiten und Websites mit dünner interner Verlinkung müssen in der Regel am längsten warten.
Die häufigsten Ursachen
| Mögliche Ursache | So bestätigen Sie sie | Die Lösung |
|---|---|---|
| robots.txt sperrt die Seite | Prüfen Sie unter yoursite.com/robots.txt, ob eine Disallow-Regel die URL abdeckt |
Entfernen oder beschränken Sie die Disallow-Regel und reichen Sie die Seite erneut ein |
| Ein noindex-Tag oder -Header | Suchen Sie im Seitenquelltext nach <meta name="robots" content="noindex"> |
Löschen Sie die noindex-Anweisung, wenn die Seite ranken soll |
| Sitemap fehlt oder ist veraltet | Search Console > Sitemaps zeigt einen Fehler oder ein altes „Last read"-Datum | Erstellen Sie die Sitemap neu und reichen Sie sie erneut ein |
| Keine internen Links auf die Seite | Prüfen Sie, ob eine andere Seite Ihrer Website auf sie verlinkt | Setzen Sie Links von verwandten Seiten oder aus Ihrer Navigation |
| Die Website ist brandneu und hat keine eingehenden Links | Suchen Sie nach site:yourdomain.com und sehen Sie wenige oder keine Ergebnisse |
Beantragen Sie die Indexierung manuell und bauen Sie einige echte externe Links auf |
Wenn Sie die Website eines lokalen Unternehmens betreiben, ist Ihr Google Business Profile eine eigene Angelegenheit. Dieser Eintrag liegt in einem anderen System als der Crawling-Status Ihrer Website. Das sollten Sie im Hinterkopf behalten, falls Sie außerdem ein Profil über die Google Business Profile API verwalten.
Das Problem in der Google Search Console beheben
Die folgenden Schritte nutzen die kostenlosen Tools, die Google ohnehin bereitstellt, und die meisten brauchen nichts anderes.
Schritt 1: Prüfen, ob die Seite erreichbar ist
Öffnen Sie in der Search Console die URL-Prüfung (URL Inspection) und geben Sie die genaue URL ein. Drei Ergebnisse sind entscheidend: „Crawling zulässig?" (Crawl allowed?) sollte Ja anzeigen, „Seitenabruf" (Page fetch) sollte Erfolgreich anzeigen und „Indexierung zulässig?" (Indexing allowed?) sollte Ja anzeigen. Die Hilfedokumentation von Google verwendet diese Bezeichnungen, um zu beschreiben, ob ein Crawler eine Seite erreichen und indexieren kann. Schlägt eine der drei Prüfungen fehl, haben Sie die Ursache gefunden, und sie hat nichts mit dem Crawl-Budget zu tun.
Schritt 2: Indexierung beantragen
Besteht die Seite diese Prüfungen, befindet sich aber trotzdem nicht im Index von Google, klicken Sie im selben Bildschirm der URL-Prüfung auf „Indexierung beantragen" (Request Indexing). Dadurch wird die URL in eine Crawling-Warteschlange mit Priorität aufgenommen. Das geht nicht sofort und ist nicht garantiert, aber es ist der schnellste Hebel, den Sie selbst in der Hand haben.
Schritt 3: Sitemap einreichen oder erneut einreichen
Gehen Sie im Menü links auf „Sitemaps", geben Sie den Pfad Ihrer Sitemap ein (meist /sitemap.xml) und klicken Sie auf „Senden" (Submit). Eine Sitemap teilt Google mit, welche URLs es gibt und wann sie sich zuletzt geändert haben, sodass Google sie nicht allein über Links entdecken muss. Ein Leitfaden einer Agentur zur Website-Indexierung weist darauf hin, dass eine Sitemap die Zeit, die Google zum Auffinden neuer Seiten braucht, von rund einem ganzen Tag auf wenige Minuten senken kann – ein grobes Beispiel dafür, warum dieser Schritt wichtig ist.
Schritt 4: robots.txt und Meta-Tags auf der ganzen Website prüfen
Eine einzelne gesperrte Seite lässt sich leicht beheben. Ein Muster gesperrter Seiten bedeutet meist, dass eine Regel in Ihrem CMS oder in den Theme-Einstellungen noindex- oder Disallow-Regeln breiter anwendet als beabsichtigt. Das kommt nach einer Website-Migration oder der Installation eines neuen SEO-Plugins häufig vor.
Schritt 5: Interne Links stärken
Seiten ohne interne Links sind für Googlebot am schwersten zu finden und gehen am leichtesten verloren. Verlinken Sie neue oder aktualisierte Seiten von Ihrer Startseite, Ihrer Navigation oder einem verwandten Blogbeitrag aus, denn Googlebot folgt Links genauso, wie es ein Leser tun würde.
Wann die Search Console reicht und wann nicht
Die kostenlosen Tools der Search Console eignen sich gut für kleine, konkrete Probleme, bei systemischen Problemen sind sie die falsche Wahl.
| Situation | Reicht die Search Console? | Was stattdessen zu tun ist |
|---|---|---|
| Eine neue Seite ist noch nicht indexiert | Ja, URL-Prüfung und Indexierungsanfrage lösen das meist innerhalb weniger Tage | – |
| Einige aktualisierte Seiten zeigen die Änderungen nicht an | Ja, reichen Sie die Sitemap erneut ein und beantragen Sie die Indexierung für jede Seite | – |
| Ihre gesamte Website wird nicht mehr gecrawlt | Nein, das deutet auf ein Problem mit Server, Hosting oder robots.txt hin | Führen Sie ein vollständiges technisches Crawl-Audit durch, um die sperrende Regel zu finden |
| Seiten werden immer wieder gecrawlt, aber nie indexiert | Nein, das ist meist ein Signal für Inhaltsqualität oder Duplikate, nicht für den Zugriff | Prüfen Sie dünne oder doppelte Inhalte und kontrollieren Sie die Canonical-Tags |
| Dieselben Seiten fallen wiederholt aus dem Index | Nein, eine einmalige Anfrage hält nicht, wenn die zugrunde liegende Ursache wiederkehrt | Beheben Sie das wiederkehrende technische Problem und überwachen Sie es dann mit regelmäßigen Audits |
Für eine einzelne Seite ist die Search Console alles, was Sie brauchen. Kehrt dasselbe Crawling-Problem alle paar Wochen zurück, sehen Sie unter die Haube, statt erneut auf „Indexierung beantragen" zu klicken und zu hoffen.
Häufige Fehler, die Seiten aus dem Index von Google fernhalten
- Indexierungsanfragen als Ranking-Werkzeug behandeln. Gecrawlt und indexiert zu werden ist nicht dasselbe wie gut zu ranken, und für beides gibt es unterschiedliche Lösungen.
- Dieselbe URL wiederholt einreichen. Fünfmal am Tag auf „Indexierung beantragen" zu klicken beschleunigt nichts, denn jeder Klick reiht dieselbe Anfrage nur erneut ein.
- Das Mobile-Rendering vergessen. Wenn der mobile Crawler von Googlebot Ihre Inhalte nicht richtig rendern kann, stuft er die Seite möglicherweise als dünn ein, obwohl sie auf dem Desktop einwandfrei aussieht.
- Serverfehler bei Traffic-Spitzen ignorieren. Wenn Ihr Server in einer stark ausgelasteten Phase Fehler an Googlebot zurückgibt, können wiederholte Ausfälle die Häufigkeit senken, mit der er wiederkommt.
- Die Sichtbarkeit im Google Business Profile mit dem Crawling der Website verwechseln. Das sind zwei verschiedene Systeme, und die Lösung des einen Problems hat keinen Einfluss auf das andere.
- Bewertungen oder lokale Signale angehen, bevor das Crawling-Problem gelöst ist. Bewertungen über Ihren Google-Bewertungslink zu sammeln lohnt sich, bringt aber eine nicht indexierte Seite nicht in die Suchergebnisse.
Häufig gestellte Fragen
Wie lange dauert es, bis Google eine neue Website crawlt?
Es gibt keinen festen Zeitrahmen. Bei einer neuen Website ohne eingehende Links kann der erste Crawl zwischen einigen Tagen und mehreren Wochen dauern. Wenn Sie eine Sitemap einreichen und die Indexierung über die Search Console beantragen, verkürzt das die Wartezeit, garantiert aber keinen bestimmten Termin.
Garantiert das Einreichen einer Sitemap, dass Google jede Seite crawlt?
Nein. Eine Sitemap teilt Google mit, welche Seiten es gibt, aber Google entscheidet weiterhin selbst anhand von Qualität und Links, welche Seiten das Crawlen und Indexieren wert sind. Betrachten Sie sie als Einladung, nicht als Anweisung.
Warum crawlt Google meine Seite, indexiert sie aber nicht?
Das bedeutet meist, dass Google die Seite gefunden, aber als zu dünn, zu ähnlich zu einer anderen Seite oder noch nicht aufnahmewürdig für seinen Index eingestuft hat. Prüfen Sie auf doppelte Inhalte und schwache oder fehlende interne Links, bevor Sie die Seite erneut einreichen.
Können zu viele Klicks auf „Indexierung beantragen" meiner Website schaden?
Es schadet Ihnen nicht, hilft aber ab einem gewissen Punkt nicht mehr. Die Search Console hat ein praktisches Tageslimit für manuelle Anfragen, und wiederholtes Drücken der Schaltfläche bringt Ihre Seite in der Warteschlange nicht nach vorn.
Ist Crawling dasselbe wie Ranking bei Google?
Nein. Crawling bedeutet, dass Googlebot Ihre Seite besucht hat, Indexierung bedeutet, dass er die Seite gespeichert hat, und Ranking bedeutet, dass er entschieden hat, wo er die Seite in den Ergebnissen für eine bestimmte Suchanfrage platziert. Crawling ist notwendig, aber nur der erste dieser drei Schritte. Sobald es gelöst ist, besteht die nächste Herausforderung darin, Ihre Seiten ohne Werbung auf Seite eins zu bringen.
Prüfen Sie noch heute Ihren Crawling-Status
Beginnen Sie mit der Seite, die gerade am wichtigsten ist. Führen Sie sie durch die URL-Prüfung, vergewissern Sie sich, dass „Crawling zulässig" und „Seitenabruf" beide fehlerfrei zurückkommen, und klicken Sie dann auf „Indexierung beantragen". Der kostenlose Googlebot Simulator von SearchBlueprint ergänzt das gut, wenn Sie vor der weiteren Fehlersuche sehen möchten, was Googlebot erhält. Sobald Sie bestätigt haben, dass Google Ihre Website erreichen kann, sprechen Sie mit dem Team über einen vollständigen Bericht dazu, was Ihre Seiten blockiert und was Sie als Nächstes beheben sollten.
Weiterführende Lektüre: Google Search Console Verification: A Step-by-Step Fix.
Weiterführende Lektüre: Google Indexing API Explained: The GSC Fix to Try First.
Quellen
Über den Autor
SearchBlueprint hat diesen Artikel mit der Content-Pipeline recherchiert, geschrieben und bewertet, die unsere Kunden auf ihren eigenen Websites einsetzen. Die Bewertung in der Autorenzeile ist die, die unsere Content-Engine dieser Seite vor der Veröffentlichung gegeben hat. Nichts davon wird von Hand geprüft, und genau das ist der Punkt: Es ist das Ergebnis des Produkts, veröffentlicht dort, wo jeder es nachprüfen kann.