QuQi

robots.txt-Generator

Schreiben Sie Crawl-Regeln, denen Suchmaschinen wirklich folgen – inklusive eingebundener sitemap.

Sofort Ohne Anmeldung

  

robots.txt steuert das Crawlen, nicht das Indexieren. Eine gesperrte Seite kann trotzdem in den Ergebnissen auftauchen, wenn andere Seiten darauf verlinken – nutzen Sie ein noindex-meta-Tag, um sie herauszuhalten.

ODER HÖREN SIE AUF, ES VON HAND ZU TUN

Das prüft eine Seite, einmal. Die Agents prüfen jede Seite, jede Woche, und beheben, was sie finden.

Seite hinzufügen – kostenlos

Weitere kostenlose Tools