So schreiben Sie eine robots.txt-Datei (mit Beispielen)
Die robots.txt-Datei ist eine winzige Textdatei mit enormer Leistung: Sie teilt Suchmaschinen-Crawlern mit, auf welche Teile Ihrer Website sie zugreifen dürfen und auf welche nicht. Wenn es richtig eingesetzt wird, können sich Crawler auf das Wesentliche konzentrieren. Bei unachtsamer Verwendung kann eine einzelne Zeile versehentlich Ihre gesamte Website vor Google verbergen. Hier erfahren Sie, wie Sie es richtig machen.
Was robots.txt tut (und was nicht)
Es befindet sich im Stammverzeichnis Ihrer Domain (yoursite.com/robots.txt) und gibt Crawl-Anweisungen. Entscheidend ist, dass es das Crawling steuert, nicht die Indexierung – eine in robots.txt blockierte Seite kann weiterhin in den Ergebnissen erscheinen, wenn andere Websites darauf verlinken. Um eine Seite wirklich von der Suche fernzuhalten, verwenden Sie stattdessen ein noindex-Meta-Tag. In der robots.txt-Dokumentation von Google wird dies deutlich dargelegt.
Die grundlegende Syntax
Zwei Hauptanweisungen: User-agent (für welchen Crawler die Regel gilt) und Disallow (was nicht gecrawlt werden soll). Eine einfache Datei, die alles erlaubt:
Benutzeragent: *
Nicht zulassen:
Und einer, der einen privaten Ordner für alle Crawler blockiert:
Benutzeragent: *
Nicht zulassen: /private/
Der gefährliche Fehler
Diese einzelne Zeile blockiert Ihre gesamte Website für jeden Crawler:
Benutzeragent: *
Nicht zulassen: /
Es kommt häufig bei Websites vor, die aus einer Staging-Umgebung verschoben wurden, wo die Blockierung aller Elemente beabsichtigt war. Überprüfen Sie diese Zeile vor und nach dem Start immer noch einmal – sie ist der Hauptgrund dafür, dass eine neue Website nie auf Google erscheint.
Fügen Sie Ihre Sitemap hinzu
Best Practice besteht darin, Crawler über robots.txt auf Ihre Sitemap zu verweisen:
Sitemap: https://yoursite.com/sitemap.xml
Generieren Sie es ohne Risiko
Anstatt manuell zu bearbeiten und zu hoffen, erstellt unser kostenloser robots.txt-Generator aus einfachen Optionen eine korrekte Datei, sodass Sie nicht versehentlich das Falsche blockieren. Kombinieren Sie es mit einer XML-Sitemap für eine vollständige Crawling-Kontrolle.
Regeln und Crawler-spezifische Blöcke zulassen
Über Disallow hinaus können Sie Allow verwenden, um Ausnahmen auszuschließen – zum Beispiel einen ganzen Ordner zu blockieren, aber eine darin enthaltene Datei zuzulassen. Sie können bestimmte Crawler auch namentlich ansprechen: Ein User-agent: Googlebot-Block gilt nur für Google, während User-agent: * alle anderen abdeckt. Auf diese Weise können Sie beispielsweise Google vollen Zugriff gewähren und gleichzeitig einen aggressiveren Bot einschränken. Die Regeln werden zuerst am spezifischsten abgeglichen, sodass ein benannter Crawler seinem eigenen Block folgt und den Platzhalterblock ignoriert.
Crawling-Budget auf großen Websites verwalten
Auf großen Websites spielt robots.txt eine wichtige Rolle: Es verhindert, dass Crawler Zeit mit URLs mit geringem Wert verschwenden – Parameter für die Suche nach Facetten, interne Suchergebnisse, endlose Filterkombinationen –, sodass sie ihr begrenztes „Crawling-Budget“ für wichtige Seiten ausgeben. Bei kleinen Websites ist dies selten ein Problem, aber wenn Sie wachsen, sorgt das Blockieren von Crawling-Traps dafür, dass sich Google auf Ihre wichtigen Inhalte konzentriert und nicht auf Millionen nahezu identischer Parameter-URLs.
Testen Sie, bevor Sie ihm vertrauen
Da eine falsche Zeile Ihre gesamte Website verbergen kann, bearbeiten Sie robots.txt niemals blind. Die Google Search Console enthält einen robots.txt-Bericht, der zeigt, wie Google Ihre Datei liest und Fehler meldet. Überprüfen Sie nach jeder Änderung, dass die Seiten, die Sie indizieren möchten, nicht versehentlich blockiert wurden – und bestätigen Sie, dass Ihre Sitemap-Zeile auf die Live-Sitemap-URL verweist. Ein zweiminütiger Test verhindert den schädlichsten SEO-Fehler, den es gibt.
Fazit
robots.txt führt Crawler zu den richtigen Teilen Ihrer Website – aber denken Sie daran, dass es das Crawlen und nicht die Indizierung regelt und dass Disallow: / alles verbirgt. Erstellen Sie es sorgfältig, verlinken Sie Ihre Sitemap und überprüfen Sie sie nach jedem Start. Es ist eine Textzeile, die über Ihre Sichtbarkeit entscheiden kann.
