Audit der HTTP-Header-Direktiven

Die meisten technischen Prüfungen lesen das HTML, doch mehrere Direktiven leben stattdessen in den Response-Headern, wo eine Edge-Schicht sie hinzufügen, entfernen oder überschreiben kann, ohne dass sich die Anwendung ändert und ohne Spur im Quelltext. Header sind ausserdem die einzige Möglichkeit, die Indexierung von Dateien zu steuern, die gar kein head-Element haben: PDFs, Bilder, CSV-Exporte und API-Antworten. Führen Sie das immer dann durch, wenn die Anwendung das eine sagt und der Index das andere zeigt.

Die Skill-Datei

---
name: http-header-directive-audit
description: Verwenden Sie dies, wenn Direktiven ignoriert zu werden scheinen, wenn PDFs oder andere Nicht-HTML-Dateien in der Suche auftauchen, oder immer dann, wenn ein CDN, ein Edge-Worker oder ein Reverse Proxy zwischen Anwendung und Crawler steht.
---

# Audit der HTTP-Header-Direktiven

Die meisten technischen Prüfungen lesen das HTML, doch mehrere Direktiven leben stattdessen in den Response-Headern, wo eine Edge-Schicht sie hinzufügen, entfernen oder überschreiben kann, ohne dass sich die Anwendung ändert und ohne Spur im Quelltext. Header sind ausserdem die einzige Möglichkeit, die Indexierung von Dateien zu steuern, die gar kein head-Element haben: PDFs, Bilder, CSV-Exporte und API-Antworten. Führen Sie das immer dann durch, wenn die Anwendung das eine sagt und der Index das andere zeigt.

## Was Sie vorher brauchen

- Die Möglichkeit, URLs von ausserhalb des eigenen Netzwerks abzurufen und rohe Response-Header zu lesen, denn eine interne Anfrage umgeht das CDN unter Umständen vollständig
- Ein Inventar der öffentlich erreichbaren Nicht-HTML-URLs: Dokumente, Downloads, Medien, Exporte, API-Endpunkte
- Die CDN- oder Edge-Konfiguration einschliesslich Page Rules, Workern, Geo-Regeln und jedem Sicherheitsprodukt im Pfad
- Ein Crawl-Export, der indexierbare Nicht-HTML-URLs kennzeichnet

## Methode

1. Rufen Sie je Inhaltstyp eine URL ab, nur die Header, von ausserhalb Ihres Netzwerks und ohne Cookies. Eine Büro-IP, ein VPN oder eine Staging-Ausnahme liefert Header, die kein Crawler je zu sehen bekommt.
2. Achten Sie gezielt auf X-Robots-Tag und einen Link-rel=canonical-Header. Beide werden beachtet, beide sind im Seitenquelltext unsichtbar, und beide werden typischerweise einmal in der Entwicklung gesetzt und nie wieder angefasst.
3. Lösen Sie jeden Konflikt zwischen Header und HTML auf. Trifft ein noindex im Header auf ein index-Tag im HTML, gewinnt die restriktivere Angabe, und der Header ist die, an die niemand denkt.
4. Arbeiten Sie das Nicht-HTML-Inventar durch. Ein PDF, das eine Seite dupliziert, ein alter Export, Medien aus dem Staging: All das ist standardmässig indexierbar, und der Header ist die einzige Möglichkeit, es auszuschliessen und zugleich crawlbar zu halten.
5. Bestätigen Sie, dass die robots.txt von dem Origin ausgeliefert wird, von dem Sie es annehmen. Ein CDN, eine Hosting-Plattform oder ein Sicherheitsprodukt kann eine eigene ausliefern, und ein 5xx auf der robots.txt setzt das Crawling des gesamten Hosts aus und nicht nur das dieser Datei.
6. Wiederholen Sie die Abrufe aus einer anderen Region und mit einem mobilen User-Agent. Länderbasierte Weiterleitungen und Sperren zeigen einem Crawler eine andere Website als die, die Sie gerade prüfen, denn Googlebot crawlt überwiegend von US-Adressen aus.
7. Prüfen Sie Vary- und Cache-Header überall dort, wo sich die Antwort nach User-Agent oder Gerät unterscheidet, und stellen Sie sicher, dass der Edge nicht die Antwort für die eine Zielgruppe zwischenspeichert und sie der anderen ausliefert.

## Was dabei herauskommt

Eine Header-Übersicht je Inhaltstyp und je Edge-Regel, die jede gesendete Direktive, die Schicht, die sie gesetzt hat, und die Auflösung jedes Konflikts zwischen Header und HTML auflistet.

## Wo es schiefgeht

- Mit den Entwicklerwerkzeugen des Browsers und angehängten Session-Cookies prüfen, sodass Sie die eingeloggte Variante lesen statt der Crawler-Variante
- X-Robots-Tag noindex auf ein ganzes Verzeichnis anwenden und dabei Seiten darin erwischen, die ranken sollten
- Annehmen, die robots.txt liege in Ihrer Hand, während die Plattform oder die Sicherheitsschicht eine eigene Version ausliefert
- Ein PDF in der robots.txt sperren und erwarten, dass es den Index verlässt, obwohl die Datei crawlbar bleiben muss, damit der noindex-Header überhaupt gelesen wird

---

Aus der QuQi-Skill-Bibliothek - https://www.quqi.io/de/skills/http-header-directive-audit

Was Sie vorher brauchen

• Die Möglichkeit, URLs von ausserhalb des eigenen Netzwerks abzurufen und rohe Response-Header zu lesen, denn eine interne Anfrage umgeht das CDN unter Umständen vollständig
• Ein Inventar der öffentlich erreichbaren Nicht-HTML-URLs: Dokumente, Downloads, Medien, Exporte, API-Endpunkte
• Die CDN- oder Edge-Konfiguration einschliesslich Page Rules, Workern, Geo-Regeln und jedem Sicherheitsprodukt im Pfad
• Ein Crawl-Export, der indexierbare Nicht-HTML-URLs kennzeichnet

Methode

1. 01 Rufen Sie je Inhaltstyp eine URL ab, nur die Header, von ausserhalb Ihres Netzwerks und ohne Cookies. Eine Büro-IP, ein VPN oder eine Staging-Ausnahme liefert Header, die kein Crawler je zu sehen bekommt.
2. 02 Achten Sie gezielt auf X-Robots-Tag und einen Link-rel=canonical-Header. Beide werden beachtet, beide sind im Seitenquelltext unsichtbar, und beide werden typischerweise einmal in der Entwicklung gesetzt und nie wieder angefasst.
3. 03 Lösen Sie jeden Konflikt zwischen Header und HTML auf. Trifft ein noindex im Header auf ein index-Tag im HTML, gewinnt die restriktivere Angabe, und der Header ist die, an die niemand denkt.
4. 04 Arbeiten Sie das Nicht-HTML-Inventar durch. Ein PDF, das eine Seite dupliziert, ein alter Export, Medien aus dem Staging: All das ist standardmässig indexierbar, und der Header ist die einzige Möglichkeit, es auszuschliessen und zugleich crawlbar zu halten.
5. 05 Bestätigen Sie, dass die robots.txt von dem Origin ausgeliefert wird, von dem Sie es annehmen. Ein CDN, eine Hosting-Plattform oder ein Sicherheitsprodukt kann eine eigene ausliefern, und ein 5xx auf der robots.txt setzt das Crawling des gesamten Hosts aus und nicht nur das dieser Datei.
6. 06 Wiederholen Sie die Abrufe aus einer anderen Region und mit einem mobilen User-Agent. Länderbasierte Weiterleitungen und Sperren zeigen einem Crawler eine andere Website als die, die Sie gerade prüfen, denn Googlebot crawlt überwiegend von US-Adressen aus.
7. 07 Prüfen Sie Vary- und Cache-Header überall dort, wo sich die Antwort nach User-Agent oder Gerät unterscheidet, und stellen Sie sicher, dass der Edge nicht die Antwort für die eine Zielgruppe zwischenspeichert und sie der anderen ausliefert.

Was dabei herauskommt

Eine Header-Übersicht je Inhaltstyp und je Edge-Regel, die jede gesendete Direktive, die Schicht, die sie gesetzt hat, und die Auflösung jedes Konflikts zwischen Header und HTML auflistet.

Wo es schiefgeht

• Mit den Entwicklerwerkzeugen des Browsers und angehängten Session-Cookies prüfen, sodass Sie die eingeloggte Variante lesen statt der Crawler-Variante
• X-Robots-Tag noindex auf ein ganzes Verzeichnis anwenden und dabei Seiten darin erwischen, die ranken sollten
• Annehmen, die robots.txt liege in Ihrer Hand, während die Plattform oder die Sicherheitsschicht eine eigene Version ausliefert
• Ein PDF in der robots.txt sperren und erwarten, dass es den Index verlässt, obwohl die Datei crawlbar bleiben muss, damit der noindex-Header überhaupt gelesen wird

Diese Skill in Ihrer eigenen KI nutzen

Die Datei ist einfaches Markdown, mit Name und Auslöser im Frontmatter. Wo ein Assistent Skills selbst laden kann, liest er genau dieses Frontmatter, um zu entscheiden, dass diese hier passt.

Mehr in Technisches SEO