Robots.txt bei Squarespace: So prüfen und beheben Sie Probleme

Eine robots.txt bei Squarespace ist die Textdatei, die Squarespace automatisch unter yoursite.com/robots.txt erzeugt. Sie teilt Suchmaschinen und KI-Crawlern mit, welche Bereiche Ihrer Website sie abrufen dürfen. Sie können die Datei in jedem Browser sofort ansehen, aber nicht direkt bearbeiten. Ihre tatsächlichen Stellschrauben sind einige Einstellungen unter Settings und das SEO-Panel der jeweiligen Seite.

Prüfen Sie zuerst mit einem kostenlosen Tool

Bevor Sie sich durch die Einstellungen klicken, lassen Sie Ihre Domain durch den kostenlosen Robots.txt Tester laufen. Geben Sie Ihre URL ein, und das Tool zeigt Ihnen genau, welche Direktiven aktiv sind, ob eine bestimmte Seite oder ein bestimmter Bot blockiert wird und ob die von Squarespace erzeugte Syntax tatsächlich gültig ist. Bei einer Plattform, auf der Sie die Datei nicht von Hand bearbeiten können, geht eine kurze externe Prüfung oft schneller, als sich durch Menüs zu suchen, um sicherzugehen, dass nichts den Googlebot unbemerkt aussperrt.

Was eine robots.txt bei Squarespace tatsächlich enthält

Jede Squarespace-Website wird mit einer Standard-robots.txt ausgeliefert, die einige Systempfade sperrt, etwa Checkout-Seiten, Suchergebnisseiten und Admin-Bereiche, während Ihre eigentlichen Inhalte für das Crawling offen bleiben. Sie haben nichts davon selbst geschrieben, und Sie können Zeilen weder direkt entfernen noch hinzufügen.

Das unterscheidet sich von einer selbst gehosteten Website, bei der Sie vollen Zugriff auf die Datei hätten. Bei Squarespace wird die Datei im Hintergrund erzeugt und automatisch aktualisiert, wenn Sie Seiten, Collections oder E-Commerce-Bereiche hinzufügen.

Warum Squarespace das einschränkt

Laut Googles eigener Dokumentation bearbeiten Sie die robots.txt bei einem Content-Management-System in der Regel nicht direkt. Stattdessen stellt das CMS eine Einstellungsseite oder einen Schalter bereit, und das Crawling wird über diese Oberfläche gesteuert (Google Search Central). Squarespace folgt diesem Muster konsequent: Einstellungen und Schalter auf Seitenebene ersetzen den Zugriff auf die Rohdatei.

So sehen Sie Ihre robots.txt bei Squarespace ein

Das Ansehen ist in einem Schritt erledigt:

1. Öffnen Sie einen Browser und rufen Sie yoursite.com/robots.txt auf. Ersetzen Sie „yoursite.com“ durch Ihre tatsächliche Domain.
2. Vergewissern Sie sich, dass unter User-agent: * keine Zeile Disallow: / steht. Diese eine Zeile würde alle Crawler von Ihrer gesamten Website aussperren.
3. Prüfen Sie, ob Pfade gesperrt sind, die Sie dort nicht erwartet hätten.

Sieht die Datei in Ordnung aus, eine bestimmte Seite taucht bei Google aber trotzdem nicht auf, liegt es meist nicht an der robots.txt. Prüfen Sie stattdessen die SEO-Einstellungen dieser Seite.

Können Sie die robots.txt bei Squarespace bearbeiten?

Sie können die robots.txt bei Squarespace nicht direkt bearbeiten. Es gibt kein Code-Injection-Feld und kein Einstellungspanel, in das Sie eine eigene robots.txt einfügen könnten, die dann die erzeugte Datei überschreibt. Was Sie tun können, ist, die Einstellungen zu ändern, die beeinflussen, was die Datei und Ihr übriges Crawling-Verhalten zulassen.

Die Einstellungen, die wirklich etwas bewegen

Einstellung	Wo Sie sie finden	Was sie steuert
Bekannte KI-Crawler blockieren	Settings → Crawlers	Fügt Disallow-Regeln für Bots wie GPTBot, ClaudeBot und ähnliche KI-Crawler hinzu
Seite in Suchergebnissen ausblenden	Page Settings → SEO (pro Seite)	Fügt für diese eine Seite eine noindex-Anweisung hinzu, unabhängig von der robots.txt
Passwortschutz	Page Settings → General	Sperrt eine Seite vollständig für Crawler und Besucher
URL Mappings	Settings → Advanced → URL Mappings	Leitet einen Pfad auf einen anderen um; schreibt die robots.txt selbst nicht um

Wenn KI-Tools wie ChatGPT oder Perplexity Ihre Inhalte crawlen sollen, lassen Sie das Kontrollkästchen „Block known artificial intelligence crawlers“ ausgeschaltet. Wenn Sie diese Bots draußen halten, Google und Bing aber weiterhin zulassen möchten, schalten Sie es ein. Es zielt gezielt auf KI-Crawler und nicht auf herkömmliche Suchmaschinen.

Wenn Sie volle Kontrolle über die Datei brauchen

Manche Websites brauchen tatsächlich eigene Crawl-Delay-Regeln, Wildcard-Muster oder botspezifische Abschnitte, die die Schalter von Squarespace nicht erzeugen können. Dann besteht der praktikable Weg darin, die gewünschte Datei mit einem Tool wie dem kostenlosen Robots.txt Generator zu erstellen und anschließend auf eine Plattform zu wechseln, auf der Sie sie im Stammverzeichnis hochladen können. Webflow und Framer unterstützen das, Squarespace nicht.

Dazu eine Anmerkung: Crawl-Delay-Direktiven bewirken selbst auf Plattformen, die sie unterstützen, selten das, was man erwartet. Der Googlebot ignoriert die Direktive komplett, wie in Robots.txt Crawl-Delay: Why Googlebot Ignores It beschrieben. Wegen dieser einen Direktive nach voller robots.txt-Kontrolle zu streben, lohnt den Plattformwechsel meist nicht.

Wann die integrierten Tools von Squarespace genügen und wann nicht

Situation	Genügen die Tools von Squarespace?	Was zu tun ist
Eine Seite wird nicht indexiert	Ja	Prüfen Sie in den SEO-Einstellungen der Seite, ob versehentlich noindex aktiviert ist
KI-Crawler websiteweit blockieren	Ja	Aktivieren Sie das KI-Crawler-Kontrollkästchen unter Settings → Crawlers
Eigene Crawl-Delay- oder Wildcard-Regel nötig	Nein	Squarespace bietet das nicht an; nötig ist eine Plattform mit Dateizugriff
Wiederkehrende Crawling-Fehler auf vielen Seiten	Teilweise	Die Einstellungen decken häufige Fälle ab; tiefergehende Probleme erfordern eine Prüfung in der Search Console
Einmalige Prüfung vor einem Launch	Ja	Ein kurzer Blick auf /robots.txt plus der Tester genügt

Eine einzelne blockierte URL lässt sich fast immer über die Einstellungen beheben. Ein wiederkehrendes, websiteweites Crawling-Problem, bei dem Seiten schubweise aus dem Index fallen oder Bots Seiten aufrufen, die Sie nie konfiguriert haben, deutet darauf hin, dass etwas Strukturelles Aufmerksamkeit braucht, das über das Panel von Squarespace hinausgeht.

Häufige Fehler bei der robots.txt von Squarespace

• noindex mit disallow verwechseln. Eine per Disallow gesperrte Seite kann trotzdem indexiert werden, wenn andere Websites auf sie verlinken. Erst ein noindex-Tag hält eine Seite zuverlässig aus den Ergebnissen heraus.
• Annehmen, der KI-Crawler-Schalter wirke sich auf Google aus. Er zielt gezielt auf KI-Bots, der Googlebot gehört nicht zu diesem Schalter.
• Eine Seite per Passwort schützen, um sie vor der Suche zu verstecken, und sich dann über sinkenden Traffic wundern. Dieser Ansatz sperrt Crawler vollständig aus und blendet die Seite nicht nur in einer einzelnen Funktion aus.
• Erwarten, dass eine Crawl-Delay-Regel den Googlebot bremst. Das tut sie nicht, Google ignoriert diese Direktive auf jeder Plattform.
• Die robots.txt auf einer Staging-URL statt auf der Live-Domain prüfen. Dort können ganz andere Regeln stehen.

Prüfen Sie Ihre Korrektur mit dem kostenlosen Robots.txt Tester

Nachdem Sie die KI-Crawler-Einstellung oder den SEO-Schalter einer Seite angepasst haben, veröffentlichen Sie Ihre Änderungen und lassen Ihre Domain erneut durch den Robots.txt Tester laufen. Er bestätigt, dass die Live-Datei Ihre Änderung widerspiegelt, und meldet jeden Pfad, der unerwartet noch blockiert ist. Das ist nützlich, da Squarespace Ihnen beim Umschalten einer Einstellung keinen Vorher-nachher-Vergleich anzeigt.

Häufig gestellte Fragen

Kann ich bei Squarespace meine eigene robots.txt hochladen?

Nein. Squarespace erzeugt die Datei automatisch auf Grundlage Ihrer Website-Struktur und einiger weniger Einstellungen. Es gibt kein Feld, in das Sie eine Ersatzdatei einfügen oder hochladen könnten.

Blockiert das Sperren von KI-Crawlern in Squarespace auch Google?

Nein. Die Einstellung „Block known artificial intelligence crawlers“ zielt gezielt auf Bots wie GPTBot und ClaudeBot. Der Googlebot und andere herkömmliche Suchmaschinen-Crawler sind von diesem Schalter nicht betroffen.

Warum ist meine Seite in der robots.txt blockiert, erscheint aber trotzdem bei Google?

Google kann eine URL aufgrund externer Links indexieren, auch ohne ihren Inhalt zu crawlen. Deshalb tauchen per Disallow gesperrte Seiten manchmal ohne Beschreibung in den Ergebnissen auf. Verwenden Sie stattdessen ein noindex-Tag, wenn eine Seite vollständig aus dem Index verschwinden soll.

Kann ich der robots.txt von Squarespace einen Sitemap-Verweis hinzufügen?

Squarespace nimmt den Verweis auf Ihre Sitemap automatisch in die erzeugte Datei auf. Sie müssen ihn nicht selbst hinzufügen.

Ist llms.txt bei Squarespace dasselbe wie die robots.txt?

Nein. Die robots.txt steuert den Zugriff von Crawlern und ist seit Jahrzehnten ein Webstandard, den die IETF als RFC 9309 formalisiert hat. Die neuere llms.txt-Funktion von Squarespace ist ein inoffizielles, experimentelles Dateiformat, auf das sich große KI-Crawler derzeit weder für die Erkennung noch für Zitate stützen. Sie ist ein eigenes, deutlich kleineres Thema als eine korrekte robots.txt.

Lassen Sie Ihre Crawling-Einstellungen von einer zweiten Seite prüfen

Die robots.txt bei Squarespace ist eine kleine Datei, die Sie unbemerkt Traffic kosten kann, wenn ein Schalter falsch steht. Wenn Sie ein vollständiges Bild davon möchten, wie Ihre Website gecrawlt und indexiert wird, das über eine einzelne Datei hinausgeht, sprechen Sie mit dem Team und erhalten Sie einen Beispielbericht, der genau zeigt, wo Ihre Website steht.

## Resources / References

1. [Google Search Central](https://developers.google.com/search/docs/crawling-indexing/robots/intro)
2. [RFC 9309](https://www.rfc-editor.org/rfc/rfc9309)

## Sources

- [Squarespace & LLMs.txt Support: What it Means for AIO](https://sarahmoon.net/blog/squarespace-llmstxt)
- [llms.txt for Squarespace — How to Add It](https://causabi.com/guides/squarespace)
- [Robots.txt Introduction and Guide | Google Search Central](https://developers.google.com/search/docs/crawling-indexing/robots/intro)