robots.txt-Generator
Schreiben Sie Crawl-Regeln, denen Suchmaschinen wirklich folgen – inklusive eingebundener sitemap.
robots.txt steuert das Crawlen, nicht das Indexieren. Eine gesperrte Seite kann trotzdem in den Ergebnissen auftauchen, wenn andere Seiten darauf verlinken – nutzen Sie ein noindex-meta-Tag, um sie herauszuhalten.
Was es prüft
- Schreibt eine User-agent: *-Gruppe aus einer von drei Vorlagen: alles erlauben, typische App-Pfade sperren oder für Staging die ganze Website sperren.
- Die App-Vorlage sperrt /admin/, /cart/, /checkout/, /account/, /search und sortierte URLs, die zu /*?*sort= passen.
- Fügt für jeden zusätzlichen Pfad, den Sie angeben, eine Disallow-Zeile hinzu und ergänzt den führenden Schrägstrich, falls er fehlt.
- Fügt auf Wunsch Gruppen hinzu, die GPTBot, CCBot, ClaudeBot, Google-Extended, anthropic-ai und PerplexityBot für die ganze Website sperren.
- Fügt eine Sitemap-Zeile hinzu, die auf /sitemap.xml der eingegebenen Website zeigt.
- Erstellt die Datei in Ihrem Browser, bereit zum Kopieren oder zum Herunterladen als robots.txt.
Das Ergebnis lesen
Jeder Disallow-Wert greift ab dem Anfang des Pfads. /search sperrt /search?q=shoes, aber auch /search-tips und /searchable-products. Gleichen Sie die Liste mit Ihren eigenen URLs ab und stellen Sie sicher, dass keine Seite, die gefunden werden soll, mit einem gesperrten Pfad beginnt.
Die Sitemap-Zeile geht davon aus, dass Ihre Sitemap unter /sitemap.xml liegt. Liegt sie woanders, etwa unter /sitemap_index.xml, ändern Sie die Zeile vor dem Hochladen. Die Datei wirkt nur im Stammverzeichnis des Hosts, zum Beispiel https://example.com/robots.txt, und jede Subdomain braucht ihre eigene.
Die Option für KI-Crawler sperrt die sechs in der Datei genannten Bots und keine anderen. Einige sammeln Trainingsdaten, andere rufen Seiten für Assistenten ab, die ihre Quellen nennen. Wer alle sechs sperrt, wird daher womöglich seltener zitiert. Lassen Sie sie zu, wenn Ihnen Zitate in KI-Antworten wichtig sind.
Fragen
Prüft das Tool meine aktuelle robots.txt?
Nein. Es schreibt eine neue Datei aus den gewählten Optionen und ruft Ihre Website nicht ab. Vergleichen Sie das Ergebnis vor dem Ersetzen mit Ihrer Live-Datei, damit Sie bewusst ergänzte Regeln behalten.
Wie halte ich eine Staging-Website aus den Suchergebnissen heraus?
Schützen Sie sie mit einem Passwort. Die Staging-Vorlage bittet Crawler, draußen zu bleiben, aber robots.txt ist nur eine Bitte, und eine gesperrte URL kann trotzdem gelistet werden, wenn etwas darauf verlinkt.
Befolgen die KI-Bots auch die Regeln unter User-agent: *?
Nein. Ein Crawler folgt der spezifischsten Gruppe, die ihn nennt, und ignoriert die anderen. Jede KI-Bot-Gruppe steht also für sich. Wenn Sie von Hand eine Gruppe für einen weiteren Bot anlegen, wiederholen Sie darin alle Disallow-Zeilen, die er befolgen soll.
Brauche ich überhaupt eine robots.txt?
Nein. Ohne die Datei gehen Crawler davon aus, dass sie alles abrufen dürfen. Nützlich ist sie trotzdem, um Crawler auf Ihre Sitemap zu verweisen und sie von Warenkörben, Konten und internen Suchergebnissen fernzuhalten.
Dieses Tool prüft eine Seite, einmal. Ihr Team prüft jede Seite, jede Woche, und behebt, was es findet.
Weitere kostenlose Tools
hreflang-Tag-Generator
Erstellen Sie wechselseitige hreflang-Tags für jede Sprachversion einer Seite und finden Sie die Code-Fehler, die sie unbemerkt unwirksam machen.
AI-Textbereiniger
Finden Sie die unsichtbaren Zeichen und Wasserzeichen in eingefügtem Text und entfernen Sie sie.
sitemap.xml-Prüfer
Prüfen Sie eine live sitemap auf die Fehler, die Seiten aus dem Index halten.
meta-Tag-Prüfer
Sehen Sie genau, was Suchmaschinen und soziale Plattformen aus einer Seite lesen.
SERP-Snippet-Vorschau
Sehen Sie, wo Titel und Description abgeschnitten werden, bevor Sie sie veröffentlichen.
schema-Markup-Generator
Erzeugen Sie gültiges JSON-LD für die Typen, die Suchmaschinen wirklich nutzen.