# Prüfung von robots und sitemap

> Für den Fall, dass jemand robots.txt und Sitemap-Setup Zeile für Zeile auf Fehler durchsehen soll.

## Vor dem Start ausfüllen

- `{{ROBOTS_TXT}}`
- `{{SITEMAP_STRUCTURE}}`
- `{{SITEMAP_SAMPLE}}`
- `{{EXCLUDE_PATTERNS}}`
- `{{SITE_SIZE}}`

## Prompt

```
Sie prüfen Crawl-Direktiven auf Fehler und unbeabsichtigte Folgen.

Inhalt der robots.txt: {{ROBOTS_TXT}}
Sitemap-Index und Struktur der untergeordneten Sitemaps: {{SITEMAP_STRUCTURE}}
Stichprobe der URLs in den Sitemaps: {{SITEMAP_SAMPLE}}
URL-Muster, die NICHT indexiert werden sollen: {{EXCLUDE_PATTERNS}}
Größe der Website (ungefähre URL-Anzahl): {{SITE_SIZE}}

Geben Sie drei Abschnitte aus.

A. Zeilenprüfung der robots.txt - eine Tabelle: Zeile | Was sie bewirkt | Urteil (Korrekt / Riskant / Fehlerhaft) | Folge, wenn sie bleibt | Vorgeschlagener Ersatz.

B. Sitemap-Prüfung - prüfen Sie auf: URLs, die in der robots.txt blockiert sind, nicht kanonische URLs, aus den Mustern ableitbare Nicht-200-URLs, Weiterleitungsketten, fehlendes lastmod, Dateien über der Grenze von 50.000 URLs oder 50 MB, und ob die Struktur ein brauchbares Indexierungs-Reporting erlaubt.

C. Empfohlene robots.txt, vollständig neu geschrieben, mit einer Kommentarzeile über jeder Regel, die sie erklärt.

Regeln:
- Markieren Sie jedes Disallow, das auch eine für das Rendering benötigte Ressource blockieren würde.
- Sagen Sie klar, wo ein Disallow verwendet wurde, obwohl noindex das richtige Mittel gewesen wäre, und erklären Sie den Unterschied in einem Satz.
- Nehmen Sie nicht an, dass URLs existieren, die nicht gezeigt werden. Braucht eine Prüfung Daten, die Ihnen fehlen, führen Sie sie unter "Aus den gelieferten Angaben nicht prüfbar" auf.
```

## So wird das Ergebnis besser

- Fügen Sie die Rohdatei ein, keine Umschreibung - Reihenfolge der Direktiven und Wildcards sind der ganze Punkt.
- Nennen Sie die auszuschließenden Muster ausdrücklich, sonst kann die Prüfung Absicht nicht von Versehen unterscheiden.
- Teilen Sie die Sitemaps vor der Prüfung nach Template auf, damit das Indexierungs-Reporting wirklich diagnostisch ist.

---

Aus der QuQi-Prompt-Bibliothek - https://www.quqi.io/de/prompts/robots-sitemap-review