Qué es el archivo robots.txt y por qué es clave para el SEO de tu web

Si tienes una página web, seguro que has oído hablar del SEO. Pero hay un archivo de texto muy pequeño, silencioso y casi siempre ignorado, que tiene un impacto directo en cómo Google explora tu sitio: el robots.txt.

Te explicamos qué es, cómo funciona de verdad y un error muy extendido que puede hacer que lo uses mal sin darte cuenta.

Qué es robots.txt

El robots.txt es un archivo de texto, alojado en la raíz de tu dominio, que indica a los motores de búsqueda qué páginas o carpetas de tu web pueden rastrear. Es una pieza clave para gestionar de forma eficiente cómo los bots recorren tu sitio.

Para qué sirve

• Controlar el rastreo: decide qué zonas de tu web visitan los bots y cuáles no.
• Ahorrar presupuesto de rastreo: evita que los buscadores pierdan tiempo en secciones irrelevantes (carritos, filtros, páginas duplicadas por parámetros), algo especialmente útil en tiendas online grandes.
• Orientar a los bots hacia lo importante: junto al sitemap, ayuda a que el contenido relevante se rastree antes.
• Dar una primera barrera de acceso a zonas técnicas, como paneles de administración, aunque no sustituye a la seguridad real (lo explicamos más abajo).

Cómo funciona el proceso de rastreo

Cuando un motor de búsqueda visita tu web, sigue un proceso sencillo:

1. Busca el archivo robots.txt en la raíz del dominio (tudominio.com/robots.txt).
2. Lee las reglas que has configurado.
3. Decide qué páginas puede rastrear.
4. Evita las secciones restringidas, sin gastar recursos en ellas.

Esto ahorra recursos tanto al buscador como a tu propio servidor.

Anatomía de un archivo robots.txt

Es un archivo con directrices muy simples. Un ejemplo habitual:

User-agent: *
Disallow: /admin/
Disallow: /private/
Allow: /
Sitemap: https://tusitio.com/sitemap.xml

• User-agent: * — a qué buscadores se aplica la regla (el asterisco significa «a todos»).
• Disallow: /admin/ — pide que no se rastree esa carpeta.
• Disallow: /private/ — pide que no se rastree esa otra carpeta.
• Allow: / — permite el rastreo del resto del sitio.
• Sitemap: … — indica dónde está el mapa del sitio (opcional, pero muy recomendable).

El error más común: Disallow no es lo mismo que «noindex»

Esta es la confusión más habitual, y la propia documentación de Google la señala expresamente: bloquear una carpeta con Disallow no garantiza que esa página desaparezca de los resultados de búsqueda.

Si otra web enlaza a esa URL bloqueada, Google puede indexar la dirección igualmente —sin visitarla, pero mostrándola en resultados con la información pública que tenga disponible, como el texto del enlace—. Disallow evita el rastreo, no necesariamente la indexación.

Para impedir de verdad que una página aparezca en Google, la propia Google recomienda una de estas opciones:

• Usar la etiqueta o cabecera noindex (que, ojo, requiere que la página sea rastreable para que Google la vea).
• Proteger el contenido con contraseña.
• Eliminar la página por completo.

¿Bloquea robots.txt el acceso a los usuarios?

No. Es importante dejarlo claro: robots.txt solo da instrucciones a los motores de búsqueda, no a las personas. Si alguien conoce la URL exacta de una carpeta bloqueada (por ejemplo, /admin/), podrá entrar sin ningún problema. Para bloquear el acceso real de personas hacen falta contraseñas o sistemas de autenticación, no un archivo de texto.

Quién debería tener uno bien configurado

Cualquier proyecto online se beneficia de tenerlo bien planteado, especialmente:

• Blogs y medios, para evitar rastrear páginas de categorías o etiquetas duplicadas.
• Tiendas online, para no malgastar rastreo en carritos, checkout o filtros de producto.
• Webs corporativas, para mantener fuera del rastreo zonas internas o de pruebas.
• Aplicaciones web, con paneles o áreas privadas que no aportan nada en buscadores.

Una base técnica correcta —robots.txt, sitemap, datos estructurados— es justo lo que trabajamos como parte de una estrategia de SEO local para pymes: no sirve de mucho un contenido excelente si los buscadores no rastrean bien tu web.

Conclusión

El archivo robots.txt es una herramienta sencilla pero con un impacto real en cómo los buscadores rastrean tu web: bien configurado, ahorra recursos y guía a los bots hacia lo importante. Eso sí, no es una herramienta de seguridad ni garantiza que una página deje de aparecer en Google: para eso existen el noindex, las contraseñas o la eliminación directa del contenido.

Preguntas frecuentes

¿El archivo robots.txt bloquea el acceso de los usuarios a una página?

No. Solo da instrucciones a los motores de búsqueda. Cualquier persona que conozca la URL exacta puede acceder igualmente.

¿Disallow en robots.txt evita que una página aparezca en Google?

No necesariamente. Disallow evita el rastreo, pero si otra web enlaza a esa URL, Google puede indexarla igualmente sin visitarla. Para evitarlo de verdad hace falta usar noindex, proteger la página con contraseña o eliminarla.

¿Dónde debe colocarse el archivo robots.txt?

Siempre en la raíz del dominio, de forma que sea accesible en tudominio.com/robots.txt.

¿Es obligatorio tener un archivo robots.txt?

No es obligatorio, pero sin él los buscadores rastrean todo tu sitio por defecto, lo que puede hacer que pierdan tiempo en secciones que no aportan valor SEO.

¿Cómo evito de forma segura que Google indexe una página concreta?

Usando la etiqueta o cabecera noindex (asegurándote de que la página siga siendo rastreable para que Google la vea), o protegiéndola con contraseña si no debe ser pública en absoluto.