Générateur de robots.txt

Un générateur robots.txt crée un petit fichier texte qui indique aux robots des moteurs de recherche les parties de votre site qu'ils peuvent visiter. Le fichier réside à la racine de votre domaine (exemple.com/robots.txt) et utilise une syntaxe de directive simple. L'exemple standard dont la plupart des sites ont besoin :

User-agent : *
Autoriser : /
Interdire : /admin/
Plan du site : https://example.com/sitemap.xml

Cela dit : tous les robots d'exploration (*) peuvent tout explorer sauf /admin/, et voici le plan du site. Cependant, si vous vous trompez légèrement dans la syntaxe - un Disallow: / parasite est le désastre classique - et vous pouvez désindexer un site entier. Générer le fichier est préférable à sa saisie manuelle.

Choisissez votre politique par défaut (tout autoriser ou tout interdire), répertoriez tous les chemins à bloquer (un par ligne, comme /admin/ ou /cart/) et ajoutez l'URL de votre plan de site, et le fichier robots.txt correct apparaît prêt à être copié.

Exemples de fichiers robots.txt courants couverts : le site standard (tout autoriser, bloquer les chemins d'administration et de paiement, déclarer le plan du site) ; le site intermédiaire (Interdire : / pour conserver les versions de test hors de Google - n'oubliez pas de le supprimer au lancement) ; et les configurations de style WordPress (bloquer /wp-admin/ tout en laissant le contenu explorable). Téléchargez le résultat à la racine de votre site en tant que robots.txt : il doit se trouver au niveau supérieur et non dans un sous-dossier.

Une limite à connaître : le fichier robots.txt contrôle l'exploration, et non l'indexation : une URL bloquée peut toujours apparaître dans les résultats si d'autres sites y renvoient. Pour garder une page entièrement hors de Google, utilisez une balise méta noindex sur une page explorable. Et robots.txt est public (tout le monde peut lire le vôtre), alors n'y indiquez jamais de chemins secrets.