Robots.txt para SEO: ejemplos, errores y validación

Dónde va robots.txt

Debe estar en la raíz del dominio, por ejemplo https://example.com/robots.txt. Si está en otra ruta, los bots no lo tratarán como archivo principal.

Ejemplo básico

User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml

Errores peligrosos

Disallow: / bloquea todo el sitio para el grupo actual.
Olvidar el sitemap dificulta el descubrimiento de URLs.
Bloquear CSS o JS puede impedir que Google renderice bien páginas modernas.
Usar robots.txt para ocultar información sensible no es seguro.

Valida tu robots.txt

Detecta avisos comunes antes de subir cambios.

Abrir Robots Validator

Si necesitas crear uno desde cero, usa el generador robots.txt.