Crawl-Budget-Audit

Suchmaschinen weisen jeder Website nur eine begrenzte Crawling-Menge zu. Bei einem Katalog oder einer Website mit Facettennavigation wird dieses Budget regelmässig für nahezu identische URLs ausgegeben, während die wichtigen Seiten warten. Diese Skill findet heraus, wohin das Budget fliesst, und holt es zurück.

Die Skill-Datei

---
name: crawl-budget-audit
description: Verwenden Sie dies, wenn bei einer grossen Website Seiten wochenlang nicht indexiert werden oder wenn Logfiles zeigen, dass Crawler ihre Zeit mit Parametern, Filtern und Paginierung verbringen statt mit den Seiten, auf die es ankommt.
---

# Crawl-Budget-Audit

Suchmaschinen weisen jeder Website nur eine begrenzte Crawling-Menge zu. Bei einem Katalog oder einer Website mit Facettennavigation wird dieses Budget regelmässig für nahezu identische URLs ausgegeben, während die wichtigen Seiten warten. Diese Skill findet heraus, wohin das Budget fliesst, und holt es zurück.

## Was Sie vorher brauchen

- Server-Zugriffslogs von mindestens 14 Tagen oder die Crawling-Statistiken der Search Console
- Ein vollständiges URL-Inventar (Sitemap oder Crawl-Export)
- robots.txt

## Methode

1. Ziehen Sie die Crawl-Zugriffe pro URL-Muster aus den Logs und gruppieren Sie dabei nach Pfadsegment und Query-Parameter statt nach einzelner URL.
2. Ordnen Sie die Muster nach ihrem Anteil an den gesamten Crawl-Zugriffen. Alles über 5 %, das keine Seite ist, die ranken soll, ist ein Leck.
3. Entscheiden Sie für jedes Leck über das richtige Instrument: robots.txt Disallow für URLs, die nie abgerufen werden dürfen, canonical für Duplikate, die erreichbar bleiben müssen, noindex für Seiten, die gecrawlt, aber nicht gelistet werden sollen, und Parameterregeln nur dort, wo die ersten drei nicht passen.
4. Prüfen Sie auf Crawl-Fallen: endlose Kalender, Session-IDs in URLs, Sortierungen, die unbegrenzte Kombinationen erzeugen.
5. Vergleichen Sie die Crawl-Frequenz mit den Last-Modified-Daten. Seiten, die sich häufig ändern, aber selten gecrawlt werden, brauchen bessere interne Verlinkung, keine Direktive.
6. Messen Sie nach 14 Tagen erneut und bestätigen Sie, dass der zurückgewonnene Anteil auf den beabsichtigten Seiten gelandet ist.

## Was dabei herauskommt

Eine nach Rang sortierte Tabelle der Crawl-Lecks mit der jeweils anzuwendenden konkreten Direktive, dazu ein Vorher/Nachher-Anteil des Crawlings, das auf Umsatzseiten entfällt.

## Wo es schiefgeht

- Eine URL in der robots.txt sperren, die bereits Links trägt - sie behält ihre Linkkraft, kann sie aber nicht mehr weitergeben
- noindex auf Seiten verwenden, die Sie gleichzeitig vom Crawling ausgeschlossen haben, sodass das noindex nie gesehen wird
- Crawl-Budget bei einer Website mit 200 Seiten als Problem behandeln, wo es das fast nie ist

---

Aus der QuQi-Skill-Bibliothek - https://www.quqi.io/de/skills/crawl-budget-audit

Was Sie vorher brauchen

• Server-Zugriffslogs von mindestens 14 Tagen oder die Crawling-Statistiken der Search Console
• Ein vollständiges URL-Inventar (Sitemap oder Crawl-Export)
• robots.txt

Methode

1. 01 Ziehen Sie die Crawl-Zugriffe pro URL-Muster aus den Logs und gruppieren Sie dabei nach Pfadsegment und Query-Parameter statt nach einzelner URL.
2. 02 Ordnen Sie die Muster nach ihrem Anteil an den gesamten Crawl-Zugriffen. Alles über 5 %, das keine Seite ist, die ranken soll, ist ein Leck.
3. 03 Entscheiden Sie für jedes Leck über das richtige Instrument: robots.txt Disallow für URLs, die nie abgerufen werden dürfen, canonical für Duplikate, die erreichbar bleiben müssen, noindex für Seiten, die gecrawlt, aber nicht gelistet werden sollen, und Parameterregeln nur dort, wo die ersten drei nicht passen.
4. 04 Prüfen Sie auf Crawl-Fallen: endlose Kalender, Session-IDs in URLs, Sortierungen, die unbegrenzte Kombinationen erzeugen.
5. 05 Vergleichen Sie die Crawl-Frequenz mit den Last-Modified-Daten. Seiten, die sich häufig ändern, aber selten gecrawlt werden, brauchen bessere interne Verlinkung, keine Direktive.
6. 06 Messen Sie nach 14 Tagen erneut und bestätigen Sie, dass der zurückgewonnene Anteil auf den beabsichtigten Seiten gelandet ist.

Was dabei herauskommt

Eine nach Rang sortierte Tabelle der Crawl-Lecks mit der jeweils anzuwendenden konkreten Direktive, dazu ein Vorher/Nachher-Anteil des Crawlings, das auf Umsatzseiten entfällt.

Wo es schiefgeht

• Eine URL in der robots.txt sperren, die bereits Links trägt - sie behält ihre Linkkraft, kann sie aber nicht mehr weitergeben
• noindex auf Seiten verwenden, die Sie gleichzeitig vom Crawling ausgeschlossen haben, sodass das noindex nie gesehen wird
• Crawl-Budget bei einer Website mit 200 Seiten als Problem behandeln, wo es das fast nie ist

Diese Skill in Ihrer eigenen KI nutzen

Die Datei ist einfaches Markdown, mit Name und Auslöser im Frontmatter. Wo ein Assistent Skills selbst laden kann, liest er genau dieses Frontmatter, um zu entscheiden, dass diese hier passt.

Mehr in Technisches SEO