Audit des directives dans les en-têtes HTTP

La plupart des revues techniques se contentent de lire le HTML, alors que plusieurs directives vivent dans les en-têtes de réponse, où une couche de périphérie peut les ajouter, les retirer ou les écraser sans aucune modification de l'application et sans laisser de trace dans le code source. Les en-têtes sont aussi le seul moyen de contrôler l'indexation des fichiers qui n'ont pas de section head : PDF, images, exports CSV et réponses d'API. Menez cet audit chaque fois que l'application dit une chose et que l'index en montre une autre.

Le fichier de compétence

---
name: http-header-directive-audit
description: À utiliser lorsque des directives semblent ignorées, lorsque des PDF ou d'autres fichiers non HTML apparaissent dans les résultats, ou dès qu'un CDN, un worker en périphérie ou un reverse proxy s'intercale entre l'application et le robot.
---

# Audit des directives dans les en-têtes HTTP

La plupart des revues techniques se contentent de lire le HTML, alors que plusieurs directives vivent dans les en-têtes de réponse, où une couche de périphérie peut les ajouter, les retirer ou les écraser sans aucune modification de l'application et sans laisser de trace dans le code source. Les en-têtes sont aussi le seul moyen de contrôler l'indexation des fichiers qui n'ont pas de section head : PDF, images, exports CSV et réponses d'API. Menez cet audit chaque fois que l'application dit une chose et que l'index en montre une autre.

## Ce qu’il vous faut d’abord

- La possibilité d'interroger des URL et de lire les en-têtes de réponse bruts depuis l'extérieur de votre réseau, car une requête interne peut contourner le CDN entièrement
- Un inventaire des URL non HTML accessibles publiquement : documents, téléchargements, médias, exports, points d'entrée d'API
- La configuration du CDN ou de la périphérie, y compris les règles de page, les workers, les règles géographiques et tout produit de sécurité présent sur le chemin
- Un export de crawl signalant les URL non HTML indexables

## Méthode

1. Interrogez une URL par type de contenu, en ne demandant que les en-têtes, depuis l'extérieur de votre réseau et sans cookies. Une IP de bureau, un VPN ou un contournement de préproduction renvoie des en-têtes qu'aucun robot ne recevra jamais.
2. Cherchez spécifiquement X-Robots-Tag et un en-tête Link rel=canonical. Les deux sont pris en compte, les deux sont invisibles dans le code source de la page, et les deux sont en général posés une fois par un développeur puis jamais revus.
3. Tranchez chaque conflit entre en-tête et HTML. Quand un noindex en en-tête croise une balise index dans le HTML, c'est la directive la plus restrictive qui l'emporte, et l'en-tête est celle que personne ne pense à vérifier.
4. Passez en revue l'inventaire non HTML. Un PDF qui double une page, un vieil export, des médias de préproduction : tout cela est indexable par défaut, et l'en-tête est le seul moyen de les exclure tout en les gardant explorables.
5. Vérifiez que robots.txt est bien servi par l'origine que vous croyez. Un CDN, une plateforme d'hébergement ou un produit de sécurité peut servir le sien, et un 5xx sur robots.txt suspend l'exploration de tout l'hôte, pas seulement de ce fichier.
6. Refaites les requêtes depuis une autre région et avec un user agent mobile. Les redirections et blocages fondés sur le pays montrent au robot un site différent de celui que vous auditez, puisque Googlebot explore majoritairement depuis des adresses américaines.
7. Contrôlez les en-têtes Vary et de cache partout où la réponse varie selon le user agent ou l'appareil, et assurez-vous que la périphérie ne met pas en cache la réponse destinée à un public pour la servir à un autre.

## Ce que ça produit

Une carte des en-têtes par type de contenu et par règle de périphérie, listant chaque directive envoyée, la couche qui l'a posée, et la façon dont chaque conflit entre en-tête et HTML a été tranché.

## Là où ça dérape

- Auditer depuis les outils de développement du navigateur avec vos cookies de session actifs, si bien que vous lisez la variante connectée et non celle que voit le robot
- Appliquer un X-Robots-Tag noindex à un répertoire entier et emporter au passage des pages qui devaient se positionner
- Supposer que robots.txt est sous votre contrôle alors que la plateforme ou la couche de sécurité en sert sa propre version
- Bloquer un PDF dans robots.txt en attendant qu'il quitte l'index, alors que le fichier doit rester explorable pour que l'en-tête noindex soit seulement lu

---

Extrait de la bibliothèque de compétences QuQi - https://www.quqi.io/fr/skills/http-header-directive-audit

Ce qu’il vous faut d’abord

• La possibilité d'interroger des URL et de lire les en-têtes de réponse bruts depuis l'extérieur de votre réseau, car une requête interne peut contourner le CDN entièrement
• Un inventaire des URL non HTML accessibles publiquement : documents, téléchargements, médias, exports, points d'entrée d'API
• La configuration du CDN ou de la périphérie, y compris les règles de page, les workers, les règles géographiques et tout produit de sécurité présent sur le chemin
• Un export de crawl signalant les URL non HTML indexables

Méthode

1. 01 Interrogez une URL par type de contenu, en ne demandant que les en-têtes, depuis l'extérieur de votre réseau et sans cookies. Une IP de bureau, un VPN ou un contournement de préproduction renvoie des en-têtes qu'aucun robot ne recevra jamais.
2. 02 Cherchez spécifiquement X-Robots-Tag et un en-tête Link rel=canonical. Les deux sont pris en compte, les deux sont invisibles dans le code source de la page, et les deux sont en général posés une fois par un développeur puis jamais revus.
3. 03 Tranchez chaque conflit entre en-tête et HTML. Quand un noindex en en-tête croise une balise index dans le HTML, c'est la directive la plus restrictive qui l'emporte, et l'en-tête est celle que personne ne pense à vérifier.
4. 04 Passez en revue l'inventaire non HTML. Un PDF qui double une page, un vieil export, des médias de préproduction : tout cela est indexable par défaut, et l'en-tête est le seul moyen de les exclure tout en les gardant explorables.
5. 05 Vérifiez que robots.txt est bien servi par l'origine que vous croyez. Un CDN, une plateforme d'hébergement ou un produit de sécurité peut servir le sien, et un 5xx sur robots.txt suspend l'exploration de tout l'hôte, pas seulement de ce fichier.
6. 06 Refaites les requêtes depuis une autre région et avec un user agent mobile. Les redirections et blocages fondés sur le pays montrent au robot un site différent de celui que vous auditez, puisque Googlebot explore majoritairement depuis des adresses américaines.
7. 07 Contrôlez les en-têtes Vary et de cache partout où la réponse varie selon le user agent ou l'appareil, et assurez-vous que la périphérie ne met pas en cache la réponse destinée à un public pour la servir à un autre.

Ce que ça produit

Une carte des en-têtes par type de contenu et par règle de périphérie, listant chaque directive envoyée, la couche qui l'a posée, et la façon dont chaque conflit entre en-tête et HTML a été tranché.

Là où ça dérape

• Auditer depuis les outils de développement du navigateur avec vos cookies de session actifs, si bien que vous lisez la variante connectée et non celle que voit le robot
• Appliquer un X-Robots-Tag noindex à un répertoire entier et emporter au passage des pages qui devaient se positionner
• Supposer que robots.txt est sous votre contrôle alors que la plateforme ou la couche de sécurité en sert sa propre version
• Bloquer un PDF dans robots.txt en attendant qu'il quitte l'index, alors que le fichier doit rester explorable pour que l'en-tête noindex soit seulement lu

Utiliser cette compétence dans votre propre IA

Le fichier téléchargé est un simple markdown dont l'en-tête porte le nom et le déclencheur. Quand un assistant sait charger des compétences tout seul, c'est cet en-tête qu'il lit pour décider que celle-ci s'applique.

Plus dans SEO technique