Prüfung von robots und sitemap

Sie prüfen Crawl-Direktiven auf Fehler und unbeabsichtigte Folgen.

Inhalt der robots.txt: {{ROBOTS_TXT}}
Sitemap-Index und Struktur der untergeordneten Sitemaps: {{SITEMAP_STRUCTURE}}
Stichprobe der URLs in den Sitemaps: {{SITEMAP_SAMPLE}}
URL-Muster, die NICHT indexiert werden sollen: {{EXCLUDE_PATTERNS}}
Größe der Website (ungefähre URL-Anzahl): {{SITE_SIZE}}

Geben Sie drei Abschnitte aus.

A. Zeilenprüfung der robots.txt - eine Tabelle: Zeile | Was sie bewirkt | Urteil (Korrekt / Riskant / Fehlerhaft) | Folge, wenn sie bleibt | Vorgeschlagener Ersatz.

B. Sitemap-Prüfung - prüfen Sie auf: URLs, die in der robots.txt blockiert sind, nicht kanonische URLs, aus den Mustern ableitbare Nicht-200-URLs, Weiterleitungsketten, fehlendes lastmod, Dateien über der Grenze von 50.000 URLs oder 50 MB, und ob die Struktur ein brauchbares Indexierungs-Reporting erlaubt.

C. Empfohlene robots.txt, vollständig neu geschrieben, mit einer Kommentarzeile über jeder Regel, die sie erklärt.

Regeln:
- Markieren Sie jedes Disallow, das auch eine für das Rendering benötigte Ressource blockieren würde.
- Sagen Sie klar, wo ein Disallow verwendet wurde, obwohl noindex das richtige Mittel gewesen wäre, und erklären Sie den Unterschied in einem Satz.
- Nehmen Sie nicht an, dass URLs existieren, die nicht gezeigt werden. Braucht eine Prüfung Daten, die Ihnen fehlen, führen Sie sie unter "Aus den gelieferten Angaben nicht prüfbar" auf.