Generador de robots.txt

Un generador de robots.txt crea un pequeño archivo de texto que indica a los rastreadores de los motores de búsqueda qué partes de su sitio pueden visitar. El archivo se encuentra en la raíz de su dominio (ejemplo.com/robots.txt) y utiliza una sintaxis directiva simple. El ejemplo estándar que la mayoría de los sitios necesitan:

Agente de usuario: *
Permitir: /
No permitir: /admin/
Mapa del sitio: https://example.com/sitemap.xml

Eso dice: todos los rastreadores (*) pueden rastrear todo excepto /admin/, y aquí está el mapa del sitio. Sin embargo, si la sintaxis se equivoca un poco (un Disallow: / perdido es el desastre clásico) y podrá desindexar un sitio completo. Generar el archivo es mejor que escribirlo a mano.

Elija su política predeterminada (permitir todo o no permitirlo todo), enumere las rutas a bloquear (una por línea, como /admin/ o /cart/), agregue la URL del mapa de su sitio y el archivo robots.txt correcto aparecerá listo para copiar.

Ejemplos comunes de robots.txt que cubre: el sitio estándar (permitir todo, bloquear rutas de administración y pago, declarar el mapa del sitio); el sitio de prueba (Disallow: / para mantener las versiones de prueba fuera de Google; solo recuerde eliminarlo en el lanzamiento); y configuraciones estilo WordPress (bloquear /wp-admin/ mientras se deja el contenido rastreable). Sube el resultado a la raíz de tu sitio como robots.txt; debe estar en el nivel superior, no en una subcarpeta.

Un límite que vale la pena conocer: robots.txt controla el rastreo, no la indexación; una URL bloqueada aún puede aparecer en los resultados si otros sitios enlazan a ella. Para mantener una página fuera de Google por completo, utilice una metaetiqueta noindex en una página rastreable. Y el archivo robots.txt es público (cualquiera puede leer el tuyo), así que nunca incluyas rutas secretas en él.