Robots.txt su Squarespace: come controllarlo e correggerlo
Di Toy Wen Da, Co-founder · Aggiornato · 7 min di lettura
Tradotto dall'originale in inglese. Leggilo in inglese
Un file robots.txt squarespace è il file di testo che Squarespace genera in automatico all'indirizzo yoursite.com/robots.txt. Indica ai motori di ricerca e ai crawler delle AI quali parti del tuo sito possono richiedere. Puoi visualizzarlo da qualsiasi browser, ma non puoi modificare il file vero e proprio. Le tue vere leve sono alcune impostazioni in Settings e il pannello SEO di ogni pagina.
Controllalo prima con uno strumento gratuito
Prima di perderti tra le impostazioni, passa il tuo dominio nel Robots.txt Tester gratuito. Incolla il tuo URL e ti mostra quali direttive sono attive, se una pagina o un bot specifico è bloccato e se la sintassi generata da Squarespace è valida. Dato che non puoi modificare il file a mano, un rapido controllo esterno è spesso più veloce che cercare tra i menu per verificare che niente stia bloccando Googlebot senza che tu lo sappia.
Cosa contiene davvero il file robots.txt di Squarespace
Ogni sito Squarespace viene fornito con un robots.txt predefinito che blocca (disallow) una manciata di percorsi di sistema, come le pagine di checkout, le pagine dei risultati di ricerca e le route di amministrazione, lasciando invece aperti alla scansione i tuoi contenuti veri e propri. Non hai scritto nulla di tutto questo e non puoi rimuovere o aggiungere righe direttamente.
Su un sito in self-hosting avresti pieno accesso al file. Qui il file viene generato dietro le quinte e si aggiorna in automatico man mano che aggiungi pagine, collezioni o sezioni e-commerce.
Perché Squarespace lo tiene bloccato
La documentazione di Google osserva che, se usi un sistema di gestione dei contenuti (CMS), probabilmente non modificherai il robots.txt direttamente. Il CMS offre invece una pagina di impostazioni o un interruttore, e Google chiede di gestire la scansione tramite quell'interfaccia (Google Search Central). Squarespace segue questo schema: impostazioni e interruttori a livello di pagina sostituiscono l'accesso al file vero e proprio.
Come visualizzare il file robots.txt di Squarespace
Visualizzarlo richiede pochi passaggi:
- Apri un browser e vai su
yoursite.com/robots.txt, usando il tuo dominio al posto di "yoursite.com". - Verifica che sotto
User-agent: *non ci sia una rigaDisallow: /, perché quella sola riga bloccherebbe tutti i crawler su tutto il tuo sito. - Controlla se ci sono percorsi bloccati che non ti aspettavi.
Se il file sembra a posto ma una pagina specifica continua a non comparire su Google, di solito il colpevole non è il robots.txt. Controlla invece le impostazioni SEO di quella pagina.
Si può modificare il robots.txt su Squarespace?
Non direttamente. Non c'è un campo Code Injection né un pannello di impostazioni in cui incollare un robots.txt personalizzato che sostituisca quello generato. Quello che puoi fare è cambiare le impostazioni che influenzano ciò che il file, e il resto del comportamento di scansione, consente.
Le impostazioni che fanno davvero la differenza
| Impostazione | Dove trovarla | Cosa controlla |
|---|---|---|
| Block known AI crawlers | Settings → Crawlers | Aggiunge regole disallow per bot come GPTBot, ClaudeBot e crawler AI simili |
| Hide page from search results | Page Settings → SEO (per pagina) | Aggiunge un'istruzione noindex per quella singola pagina, separata dal robots.txt |
| Password protection | Page Settings → General | Blocca completamente l'accesso a una pagina, sia ai crawler sia ai visitatori |
| URL Mappings | Settings → Advanced → URL Mappings | Reindirizza un percorso a un altro; non riscrive il robots.txt in sé |
Se vuoi che strumenti di AI come ChatGPT o Perplexity scansionino i tuoi contenuti, lascia disattivata la casella "Block known artificial intelligence crawlers". Se preferisci tenere fuori quei bot ma continuare a consentire Google e Bing, attivala. Riguarda in modo specifico i crawler delle AI e non tocca i normali motori di ricerca.
Se ti serve il controllo completo del file
Alcuni siti hanno bisogno di regole crawl-delay personalizzate, pattern con caratteri jolly o sezioni specifiche per singoli bot che gli interruttori di Squarespace non riescono a produrre. In quel caso la strada pratica è creare il file esatto che vuoi con il Robots.txt Generator gratuito e passare a una piattaforma che ti permetta di caricarlo nella radice del sito. Webflow e Framer lo supportano entrambe, Squarespace no.
Le regole crawl-delay raramente fanno ciò che ci si aspetta, anche sulle piattaforme che le supportano. Googlebot ignora del tutto la direttiva, come spiegato in Robots.txt Crawl-Delay: Why Googlebot Ignores It, quindi cambiare piattaforma per quest'unica direttiva di solito non ne vale la pena.
Quando gli strumenti integrati di Squarespace bastano e quando no
| Situazione | Gli strumenti di Squarespace bastano? | Cosa fare |
|---|---|---|
| Una pagina non viene indicizzata | Sì | Controlla nelle impostazioni SEO di quella pagina se c'è un noindex attivato per errore |
| Vuoi bloccare i crawler AI su tutto il sito | Sì | Attiva la casella dei crawler AI in Settings → Crawlers |
| Ti serve una regola crawl-delay o con caratteri jolly personalizzata | No | Squarespace non la rende disponibile; serve una piattaforma con accesso al file |
| Errori di scansione ricorrenti su molte pagine | In parte | Le impostazioni coprono i casi comuni; i problemi più profondi richiedono un'analisi in Search Console |
| Controllo una tantum prima di un lancio | Sì | Basta un'occhiata a /robots.txt più il tester |
Un singolo URL bloccato si risolve quasi sempre con una modifica alle impostazioni. Un problema ricorrente su tutto il sito è un'altra cosa: pagine che escono dall'indice a ondate, o bot che raggiungono pagine che non hai mai configurato. Entrambi i casi indicano qualcosa di strutturale su cui il pannello di Squarespace non può intervenire.
Errori comuni con il robots.txt di Squarespace
- Confondere noindex e disallow. Una pagina bloccata con disallow può comunque essere indicizzata se altri siti la linkano, mentre è il tag noindex a tenere una pagina fuori dai risultati.
- Pensare che l'interruttore dei crawler AI riguardi Google. Riguarda solo i bot delle AI, e Googlebot non fa parte di quell'impostazione.
- Proteggere una pagina con password per nasconderla dalla ricerca, e poi chiedersi perché il traffico cala. La protezione con password blocca del tutto i crawler, non solo una funzione.
- Aspettarsi che una regola crawl-delay rallenti Googlebot. Google ignora quella direttiva su qualsiasi piattaforma.
- Controllare il robots.txt su un URL di staging invece che sul dominio live, che può mostrare regole completamente diverse.
Verifica la tua correzione con il Robots.txt Tester gratuito
Dopo aver modificato l'impostazione dei crawler AI o l'interruttore SEO di una pagina, pubblica le modifiche e passa di nuovo il dominio nel Robots.txt Tester. Conferma che il file live rifletta la tua modifica e segnala ogni percorso ancora bloccato in modo inatteso. Torna utile perché Squarespace non mostra un confronto prima/dopo quando cambi un'impostazione.
Domande frequenti
Squarespace mi permette di caricare un mio file robots.txt?
No. Squarespace genera il file in automatico in base alla struttura del tuo sito e a un piccolo insieme di impostazioni. Non c'è un campo in cui incollare o caricare un file sostitutivo.
Bloccare i crawler AI in Squarespace blocca anche Google?
No. L'impostazione "Block known artificial intelligence crawlers" riguarda in modo specifico bot come GPTBot e ClaudeBot. Googlebot e gli altri crawler dei motori di ricerca standard non sono toccati da quell'interruttore.
Perché la mia pagina è bloccata nel robots.txt ma compare comunque su Google?
Google può indicizzare un URL a partire da link esterni anche senza scansionarne il contenuto, ed è per questo che le pagine bloccate con disallow a volte compaiono nei risultati senza descrizione. Usa un tag noindex se vuoi che una pagina esca del tutto dall'indice.
Posso aggiungere un riferimento alla sitemap nel robots.txt di Squarespace?
Squarespace include già il riferimento alla tua sitemap nel file generato, quindi non devi aggiungerlo tu.
L'llms.txt è la stessa cosa del robots.txt su Squarespace?
No. Il robots.txt controlla l'accesso dei crawler ed è uno standard del web da decenni, formalizzato dall'IETF come RFC 9309. La più recente funzione llms.txt di Squarespace è un formato di file non ufficiale e sperimentale, su cui i principali crawler AI al momento non si basano per la scoperta o la citazione dei contenuti. È un tema separato e molto più marginale rispetto a configurare bene il robots.txt.
Fatti dare un secondo parere sulle tue impostazioni di scansione
Il robots.txt su Squarespace è un file piccolo che può costarti traffico senza che te ne accorga, se un interruttore viene attivato nel modo sbagliato. Se vuoi un quadro più completo di come il tuo sito viene scansionato e indicizzato, di quanto possa darti un singolo file, parla con il team e chiedi un report di esempio che mostri a che punto è il tuo sito.
Risorse / Riferimenti
Sull'autore
SearchBlueprint ha ricercato, scritto e valutato questo articolo con la stessa pipeline di contenuti che i nostri clienti usano sui loro siti. Il punteggio indicato nella firma è quello che il nostro motore di contenuti ha assegnato a questa pagina prima della pubblicazione. Nulla qui è rivisto a mano, ed è proprio questo il punto: è il risultato del prodotto, pubblicato dove chiunque può verificarlo.