Disuadir a los motores de búsqueda de indexar este sitio: guía de configuración

Marcar la casilla para disuadir a los motores de búsqueda de indexar este sitio hace que WordPress añada una regla "noindex" a tu robots.txt, con la que pide a Google, Bing y otros rastreadores que se salten tus páginas. Es una petición, no un candado: los bots que siguen las normas la respetan, pero no protege nada con contraseña ni bloquea los enlaces directos.

Qué hace realmente esta casilla

Cuando marcas "discourage search engines from indexing this site" y guardas los ajustes de lectura de WordPress, normalmente ocurren dos cosas entre bastidores.

Primero, WordPress reescribe el archivo robots.txt de tu sitio, ese sencillo archivo de texto que los rastreadores consultan antes de rastrear nada, para que incluya:

User-agent: *
Disallow: /

Eso le indica a todo rastreador que cumple las normas que no solicite ninguna página de tu dominio. Segundo, muchas instalaciones de WordPress añaden también una metaetiqueta noindex, follow en la cabecera de tus páginas, que es una instrucción más directa: aunque un bot llegue a ver la página, no debe incluirla en los resultados de búsqueda.

Por qué "disuadir" y no "bloquear"

WordPress usa la palabra "disuadir" a propósito. La documentación para desarrolladores de Google explica que las directivas de robots.txt son instrucciones, no controles de acceso: los rastreadores que cumplen las normas, como Googlebot, las respetan, pero el archivo no puede impedir físicamente el acceso como lo haría una contraseña o una regla de firewall (fuente: Google Search Central). Si un bot ignora el robots.txt, o si otros sitios enlazan directamente a tus páginas, tu contenido aún puede aparecer en los resultados.

Noindex frente a robots.txt: no se combinan bien

Aquí es donde más se equivoca la gente. Si una página está bloqueada con disallow en robots.txt, los motores de búsqueda nunca la rastrean, lo que significa que tampoco llegan a ver una etiqueta noindex en ella. Usar ambos a la vez en la misma URL puede salir mal: el rastreador se detiene en el robots.txt y nunca lee la instrucción noindex, así que una página que ya está indexada puede seguir indexada más tiempo que si hubieras usado solo noindex. Elige un método por URL, no los dos.

Cuándo conviene usar realmente este ajuste

No todos los sitios deberían activar este interruptor, y no todos los motivos para hacerlo son buenos. Así se reparten los casos más habituales.

Situación	Enfoque recomendado	Por qué
Sitio en pleno desarrollo en una URL en producción	Activa el ajuste o, mejor aún, usa un subdominio de pruebas (staging) protegido con contraseña	Mantiene las páginas a medio hacer fuera de las búsquedas mientras trabajas
Blog privado o familiar	Activa el ajuste y considera un plugin que restrinja quién puede ver el contenido	La casilla por sí sola no detiene a los visitantes directos
Intranet o panel interno de una empresa	Protección con contraseña a nivel de servidor, no solo esta casilla	El robots.txt es una petición; no bloquea a personas no autorizadas
Sitio ya lanzado que quiere tráfico	Déjala sin marcar	Este ajuste reducirá activamente tu visibilidad orgánica
Dominio reciclado con enlaces entrantes antiguos	Actívalo temporalmente, revisa los enlaces antiguos y desactívalo en el lanzamiento	Te da tiempo para limpiar antes de que el público vea nada

El error que hunde el tráfico

La consulta de soporte de WordPress más habitual relacionada con este ajuste no es "cómo lo activo", sino "por qué ha desaparecido mi tráfico". Se migra un sitio de staging a producción y la casilla de disuadir la indexación viaja con él, marcada por descuido. Todas las páginas del sitio en producción le dicen a Google que no las indexe, y el posicionamiento construido durante meses puede esfumarse sin hacer ruido. Revisa siempre este ajuste justo después de cualquier migración o lanzamiento de un rediseño.

Cómo activarlo (o desactivarlo) correctamente

1. Inicia sesión en el panel de administración de WordPress.
2. Ve a Ajustes → Lectura (Settings → Reading).
3. Busca "Visibilidad en los motores de búsqueda".
4. Marca la casilla "Discourage search engines from indexing this site."
5. Haz clic en Guardar cambios (Save Changes).

Revertirlo es el mismo proceso a la inversa: desmarca la casilla y guarda. Pero desmarcarla no restablece al instante tu posicionamiento. Los motores de búsqueda tienen que volver a rastrear tu sitio, darse cuenta de que el robots.txt ha cambiado y volver a añadir tus páginas a su índice. Ese proceso puede llevar desde unos días hasta varias semanas, según la frecuencia con la que se rastree tu sitio.

Si tus páginas ya están indexadas

Marcar la casilla detiene el rastreo futuro, pero no borra las páginas que los motores de búsqueda ya tienen. Si Google indexó tu contenido antes de que activaras este ajuste, eliminarlo requiere un paso adicional:

• Añade una metaetiqueta noindex directamente a las páginas afectadas (no la combines con un bloqueo en robots.txt sobre las mismas URL, por el motivo explicado antes).
• Asegúrate de que la página sigue siendo de acceso público: una página protegida con contraseña o privada no se puede rastrear, lo que significa que un bot nunca podrá leer la etiqueta noindex que le indica que la retire.
• Usa la herramienta de eliminación de URL de Google Search Console para acelerar la desindexación, en lugar de esperar a un nuevo rastreo natural.
• Confirma que no hay una regla Disallow contradictoria en el robots.txt que impida al rastreador llegar siquiera a la etiqueta noindex.

Esto refleja cómo resuelven el mismo problema las grandes plataformas: la documentación de HubSpot sobre cómo evitar que el contenido aparezca en los resultados de búsqueda describe exactamente la misma secuencia: robots.txt para el contenido que aún no se ha indexado y etiquetas noindex para el que ya lo está. La lógica se mantiene sea cual sea el CMS que uses.

Por qué una casilla no es seguridad de verdad

Si tu objetivo es realmente evitar que la gente encuentre o vea contenido sensible, y no solo mantenerlo fuera de Google, este ajuste es la herramienta equivocada. Solo se dirige a los motores de búsqueda que deciden hacerle caso. Para una privacidad real, lo que necesitas es protección con contraseña a nivel de servidor sobre el directorio, que bloquea tanto a bots como a personas antes de que WordPress siquiera se cargue. Si no tienes claro qué enfoque se ajusta a tu caso, entender cómo funciona realmente la indexación en los buscadores te dejará más claro por qué un ajuste basado en peticiones no puede sustituir a un control de acceso.

Cómo comprobar si ha funcionado

Después de guardar el ajuste, visita tudominio.com/robots.txt directamente en un navegador. Deberías ver Disallow: / bajo la línea del user-agent. Si no lo ves, los cambios no se guardaron o una capa de caché está sirviendo una versión antigua del archivo: vacía la caché y vuelve a comprobarlo.

También conviene recordar que "motores de búsqueda" no es una sola empresa. Bing publica sus propias reglas de rastreo por separado de las de Google (consulta las Bing Webmaster Guidelines), y aunque la mayoría de los rastreadores importantes respetan el formato estándar de robots.txt, su comportamiento puede variar ligeramente de uno a otro. Si solo piensas en Google, merece la pena leer un poco sobre los distintos tipos de motores de búsqueda que pueden estar enviando (o reteniendo) tráfico a tu sitio.

Preguntas frecuentes

¿Marcar esta casilla elimina mi sitio de Google de inmediato?

No. Detiene el rastreo nuevo a partir de ese momento, pero las páginas que ya están en el índice de Google siguen ahí hasta que Google vuelve a rastrear tu sitio y detecta el cambio, normalmente de días a semanas, o antes si usas la herramienta de eliminación de Search Console.

¿Este ajuste impide que la gente visite mi sitio directamente?

No. Solo pide a los motores de búsqueda que no listen tus páginas en los resultados. Cualquiera que tenga un enlace directo, un marcador o la URL exacta de tu sitio puede visitarlo con normalidad.

¿Puedo usar esto y una etiqueta noindex a la vez en la misma página?

No se recomienda. Un disallow en robots.txt impide que los rastreadores lleguen a la página, así que nunca ven la etiqueta noindex; las dos instrucciones pueden contradecirse en lugar de reforzarse.

Acabo de lanzar mi sitio y el tráfico ha caído a cero. ¿Podría ser por este ajuste?

Sí, es una de las causas más comunes. Revisa Ajustes → Lectura de inmediato: si la casilla se quedó marcada tras una migración desde staging, desmárcala y guarda.

¿Todos los motores de búsqueda respetan esta petición?

No. Depende del cumplimiento voluntario. Los grandes motores como Google y Bing por lo general respetan el robots.txt, pero se describe expresamente como una directiva, no como un bloqueo impuesto, así que algunos rastreadores o actores malintencionados pueden ignorarlo.

Mira exactamente qué está pasando en tu sitio

Antes de activar o desactivar el ajuste para disuadir a los motores de búsqueda de indexar este sitio, conviene saber qué está indexado ahora mismo y qué no: adivinar es la forma en que las migraciones salen mal. Habla con el equipo y consulta un informe SEO de muestra para ver de un vistazo el estado de indexación actual de tu sitio, los problemas de rastreo y la visibilidad antes de hacer el cambio.

Recursos / Referencias

1. Google Search Central
2. Bing Webmaster Guidelines

Fuentes

• Prevent content from appearing in search results
• Prevent website completely from being indexed by any ...
• What is the best way to stop search engines from indexing ...
• How to Stop Search Engine Crawlers From Crawling Your Site
• Prevent Search Engines from Crawling Your Site: Your Guide