Cómo escribir un archivo robots.txt (con ejemplos)
El archivo robots.txt es un pequeño archivo de texto con una potencia descomunal: indica a los rastreadores de los motores de búsqueda a qué partes de su sitio pueden acceder y a qué no. Si se usa bien, mantiene a los rastreadores enfocados en lo que importa. Si se usa descuidadamente, una sola línea puede ocultar accidentalmente todo su sitio a Google. He aquí cómo hacerlo bien.
Qué hace (y qué no hace) robots.txt
Vive en la raíz de su dominio (yoursite.com/robots.txt) y proporciona instrucciones de rastreo. Fundamentalmente, controla el rastreo, no la indexación: una página bloqueada en robots.txt aún puede aparecer en los resultados si otros sitios enlazan con ella. Para mantener realmente una página fuera de la búsqueda, utilice una metaetiqueta noindex en su lugar. La documentación de robots.txt de Google explica esto claramente.
La sintaxis básica
Dos directivas principales: User-agent (a qué rastreador se aplica la regla) y Disallow (qué no rastrear). Un archivo sencillo que lo permite todo:
Agente de usuario: *
No permitir:
Y uno que bloquea una carpeta privada para todos los rastreadores:
Agente de usuario: *
No permitir: /privado/
El error peligroso
Esta única línea bloquea todo tu sitio de todos los rastreadores:
Agente de usuario: *
No permitir: /
Es un accidente común en sitios movidos desde un entorno de prueba, donde bloquear todo fue intencional. Siempre revisa esta línea antes y después del lanzamiento: es la razón número uno por la que un sitio nuevo nunca aparece en Google.
Añade tu mapa del sitio
La mejor práctica es dirigir los rastreadores a su mapa de sitio desde robots.txt:
Mapa del sitio: https://yoursite.com/sitemap.xml
Genéralo sin riesgo
En lugar de editar manualmente y esperar, nuestro generador de robots.txt crea un archivo correcto a partir de opciones simples, para que no bloquees accidentalmente el elemento incorrecto. Combínalo con un mapa del sitio XML para un control de rastreo completo.
Permitir reglas y bloques específicos del rastreador
Más allá de Disallow, puedes usar Allow para crear excepciones; por ejemplo, bloquear una carpeta completa pero permitir un archivo dentro de ella. También puede dirigirse a rastreadores específicos por nombre: un bloque User-agent: Googlebot se aplica solo a Google, mientras que User-agent: * cubre a todos los demás. Esto le permite, por ejemplo, permitirle a Google acceso completo mientras restringe un bot más agresivo. Las reglas coinciden primero con las más específicas, por lo que un rastreador con nombre sigue su propio bloque e ignora el comodín.
Administrar el presupuesto de rastreo en sitios grandes
En sitios grandes, robots.txt tiene una función de rendimiento: evita que los rastreadores pierdan tiempo en URL de bajo valor (parámetros de búsqueda por facetas, resultados de búsqueda internos, infinitas combinaciones de filtros) para que gasten su limitado "presupuesto de rastreo" en páginas que importan. Para los sitios pequeños, esto rara vez es una preocupación, pero a medida que crece, el bloqueo de las trampas de rastreo mantiene a Google enfocado en su contenido importante en lugar de en millones de URL de parámetros casi idénticos.
Pruébelo antes de confiar en él
Debido a que una línea incorrecta puede ocultar todo su sitio, nunca edite el archivo robots.txt a ciegas. Google Search Console incluye un informe robots.txt que muestra cómo Google lee su archivo y marca errores. Después de cualquier cambio, verifique que las páginas que desea indexar no estén bloqueadas accidentalmente y confirme que la línea de su mapa del sitio apunta a la URL del mapa del sitio activo. Una prueba de dos minutos previene el error de SEO más dañino que existe.
Conclusión
robots.txt guía a los rastreadores a las partes correctas de su sitio, pero recuerde que controla el rastreo, no la indexación, y que Disallow: / oculta todo. Génelo con cuidado, vincule su mapa del sitio y verifíquelo después de cada lanzamiento. Es una línea de texto que puede mejorar o deshacer tu visibilidad.
