Crawl-delay en robots.txt: por qué Googlebot lo ignora (y qué funciona de verdad)

El crawl-delay de robots.txt es una directiva que le indica a un rastreador cuántos segundos debe esperar entre una petición y otra a tu servidor. El problema es que Google no lo admite en absoluto, así que lo primero es averiguar qué bots están sobrecargando tu sitio y elegir, para cada uno, una solución que vaya a respetar.

Antes de cambiar nada, pasa tu archivo por el Robots.txt Tester gratuito. Pega tu URL y te mostrará qué reglas se aplican a cada user-agent, incluida cualquier línea de crawl-delay que esté en un bloque que Googlebot va a saltarse.

Qué controla el crawl-delay de robots.txt

Una línea de crawl-delay va dentro de un bloque de user-agent:

User-agent: Bingbot
Crawl-delay: 10

Esto le dice a Bingbot que espere 10 segundos entre visitas. Es un instrumento tosco que forma parte, de manera informal, del Protocolo de exclusión de robots desde hace años, aunque nunca se estandarizó en todos los rastreadores.

Googlebot no lo lee ni actúa según él, así que, si Google es el rastreador que está forzando tu servidor, la directiva no te sirve de nada. Bing y Yandex sí lo respetan, por lo que resulta útil cuando son esos bots los que provocan la carga. DuckDuckGo depende en gran medida del índice de Bing y rara vez rastrea por su cuenta a la misma escala.

Rastreador	¿Admite crawl-delay?	Qué controla realmente su ritmo	Nota
Googlebot	No	Automático, según la respuesta del servidor y la salud del sitio	La propia documentación de Google indica que no usa el campo crawl-delay
Bingbot	Sí	El valor numérico que establezcas, en segundos	Se trata como una espera mínima entre peticiones
Yandex	Sí	El mismo campo crawl-delay	Se interpreta literalmente como segundos
DuckDuckBot	Irregular	Se apoya sobre todo en los datos de rastreo de Bing	Rara vez es por sí solo una fuente importante de carga en el servidor

Cómo corregir el crawl-delay y las reglas con comodines en tu propio sitio

Sigue estos pasos en orden:

1. Encuentra tu archivo. Abre tusitio.com/robots.txt en un navegador. Tiene que estar en la raíz del dominio; una copia en una subcarpeta no se leerá.
2. Localiza el editor. En la mayoría de los CMS está dentro de un menú de ajustes (Settings) o de SEO, a menudo con el nombre "Robots.txt" o "Crawler Access". En un sitio programado a medida, suele ser un archivo estático que tu desarrollador edita y despliega.
3. Busca líneas de crawl-delay bajo Googlebot. Elimina las que encuentres: no hacen nada y solo ensucian el archivo para la siguiente persona que lo edite.
4. Revisa tus reglas con comodines. Una línea como Disallow: /*.pdf$ bloquea todos los PDF, lo cual suele ser intencionado. Pero Disallow: /category* puede bloquear sin que te des cuenta todas las URL que empiecen por esa cadena, incluidas páginas que querías indexar, así que lee cada regla con comodín como lo haría un rastreador: de forma literal.
5. Guarda y vuelve a probar el archivo publicado con el Robots.txt Tester, en lugar de fiarte de lo que recuerdas haber escrito.
6. Si necesitas un archivo limpio desde cero, el Robots.txt Generator produce una sintaxis válida sin los errores de comodines que aparecen al editar a mano.

Cuándo bastan las herramientas de tu propio sitio y cuándo no

Comprobar una sola URL contra tu robots.txt lleva segundos con cualquier buen probador: pega la URL y mira si está permitida o bloqueada.

Un problema recurrente o que afecta a todo el sitio es otra cosa. Si hay páginas que desaparecen de los resultados de búsqueda en una sección entera, o un desarrollador subió un robots.txt nuevo durante un despliegue y nadie se dio cuenta, ya no estás depurando una línea, sino auditando un patrón. Eso requiere un rastreo completo del sitio comparado con el archivo.

• Para una sola URL y una comprobación puntual, basta con un probador gratuito.
• Para una auditoría de todo el sitio, un seguimiento recurrente o un sitio cuyo robots.txt ha cambiado sin autorización, necesitas monitorización técnica continua.

Errores comunes con el crawl-delay y los comodines

• Añadir un crawl-delay bajo User-agent: * y esperar que frene a Google.
• Escribir un comodín pensado para una carpeta que también coincide con una docena de otras que comparten el mismo prefijo.
• Olvidar el ancla de fin de cadena $, de modo que Disallow: /checkout también bloquea /checkout-help y /checkout-faq.
• Dejar que un desarrollador edite el archivo publicado durante un despliegue sin ningún paso de revisión.
• Tratar robots.txt como una medida de seguridad, cuando solo disuade a los rastreadores educados y no restringe el acceso.

Preguntas frecuentes

¿Funciona el crawl-delay de robots.txt con Google?

No. Google ha dejado claro que no admite el campo crawl-delay en robots.txt. Si Googlebot está sobrecargando tu servidor, usa Search Console o una limitación de tasa a nivel de servidor.

¿Qué buscadores respetan el crawl-delay?

Bing y Yandex honran la directiva como un número mínimo de segundos entre peticiones. Google y la mayoría de los rastreadores de IA modernos no.

¿Cuál es la diferencia entre Disallow y crawl-delay?

Disallow bloquea por completo el acceso de un rastreador a una ruta de URL. Crawl-delay no bloquea nada y solo le pide a un rastreador cooperativo que vaya más despacio.

¿Cómo funcionan los comodines en robots.txt?

El asterisco (*) coincide con cualquier secuencia de caracteres, y el signo de dólar ($) ancla una regla al final de una URL. Combinados sin cuidado, son la causa más común de bloqueos excesivos accidentales.

¿Puede una regla incorrecta de robots.txt desindexar mis páginas?

Sí. Si una regla disallow con comodín coincide con páginas que ya estaban indexadas, los buscadores dejarán de rastrearlas y acabarán eliminándolas de los resultados.

Haz que revisen bien tu robots.txt

Pasa tu archivo publicado por el Robots.txt Tester antes de dar por hecho que una regla de crawl-delay o de comodines se comporta como esperas, porque la mayoría de los problemas de este archivo se reducen a un carácter mal colocado. Si quieres una segunda opinión sobre cómo se rastrea todo tu sitio, habla con el equipo y pide un informe de muestra sobre qué está bloqueando tus páginas.

Recursos / Referencias

1. Google no lo admite en absoluto
2. Protocolo de exclusión de robots
3. Bing
4. La propia documentación de Google

Fuentes

• Robots.txt Guide: Essential Rules & Disallow Best Practices
• Can I set Cawl-delay in robots.txt to less than one second ...
• Crawl Delay - robots.txt Directive and Request Pacing