Robots.txt-Generator

Ein robots.txt-Generator erstellt die kleine Textdatei, die Suchmaschinen-Crawlern mitteilt, welche Teile Ihrer Website sie besuchen dürfen. Die Datei befindet sich im Stammverzeichnis Ihrer Domain (example.com/robots.txt) und verwendet eine einfache Direktivensyntax. Das Standardbeispiel, das die meisten Websites benötigen:

Benutzeragent: *
Zulassen: /
Nicht zulassen: /admin/
Sitemap: https://example.com/sitemap.xml

Das heißt: Alle Crawler (*) können alles außer /admin/ crawlen, und hier ist die Sitemap. Wenn Sie die Syntax jedoch etwas falsch verstehen – ein verirrter Disallow: / ist die klassische Katastrophe –, können Sie eine ganze Site deindizieren. Das Generieren der Datei ist besser als das manuelle Eintippen.

Wählen Sie Ihre Standardrichtlinie (alle zulassen oder alle nicht zulassen), listen Sie alle zu blockierenden Pfade auf – einen pro Zeile, wie /admin/ oder /cart/ – fügen Sie Ihre Sitemap-URL hinzu, und die richtige robots.txt-Datei erscheint zum Kopieren bereit.

Gemeinsame robots.txt-Beispiele, die hier behandelt werden: die Standard-Site (alles zulassen, Admin- und Checkout-Pfade blockieren, Sitemap deklarieren); die Staging-Site (Nicht zulassen: /, um Testversionen von Google fernzuhalten – denken Sie daran, sie beim Start zu entfernen); und Setups im WordPress-Stil (blockieren Sie /wp-admin/, während der Inhalt crawlbar bleibt). Laden Sie das Ergebnis als „robots.txt“ in das Stammverzeichnis Ihrer Website hoch – es muss sich auf der obersten Ebene befinden, nicht in einem Unterordner.

Eine Grenze, die Sie kennen sollten: „robots.txt“ steuert das Crawling, nicht die Indexierung – eine blockierte URL kann weiterhin in den Ergebnissen erscheinen, wenn andere Websites darauf verlinken. Um eine Seite vollständig von Google fernzuhalten, verwenden Sie ein Noindex-Meta-Tag auf einer crawlbaren Seite. Und robots.txt ist öffentlich (jeder kann Ihre Datei lesen), also listen Sie darin niemals geheime Pfade auf.