Auditoría de directivas en cabeceras HTTP

La mayor parte de la revisión técnica lee el HTML, pero varias directivas viven en las cabeceras de respuesta, donde una capa de edge puede añadirlas, quitarlas o sobrescribirlas sin tocar la aplicación y sin dejar rastro en el código fuente. Las cabeceras son además la única forma de controlar la indexación de ficheros que no tienen un elemento head: PDF, imágenes, exportaciones CSV y respuestas de API. Ejecútala siempre que la aplicación diga una cosa y el índice muestre otra.

El archivo de la habilidad

---
name: http-header-directive-audit
description: Úsala cuando parezca que se ignoran las directivas, cuando aparezcan PDF u otros ficheros no HTML en los resultados, o siempre que haya un CDN, un edge worker o un proxy inverso entre la aplicación y el rastreador.
---

# Auditoría de directivas en cabeceras HTTP

La mayor parte de la revisión técnica lee el HTML, pero varias directivas viven en las cabeceras de respuesta, donde una capa de edge puede añadirlas, quitarlas o sobrescribirlas sin tocar la aplicación y sin dejar rastro en el código fuente. Las cabeceras son además la única forma de controlar la indexación de ficheros que no tienen un elemento head: PDF, imágenes, exportaciones CSV y respuestas de API. Ejecútala siempre que la aplicación diga una cosa y el índice muestre otra.

## Qué necesitas antes

- Capacidad de pedir URL y leer las cabeceras de respuesta en bruto desde fuera de tu propia red, ya que una petición interna puede saltarse el CDN por completo
- Un inventario de las URL no HTML accesibles públicamente: documentos, descargas, medios, exportaciones, endpoints de API
- La configuración del CDN o del edge, incluidas las page rules, los workers, las reglas geográficas y cualquier producto de seguridad que esté en el camino
- Una exportación de rastreo que marque las URL no HTML indexables

## Método

1. Pide una URL por tipo de contenido, solo cabeceras, desde fuera de tu red y sin cookies. Una IP de oficina, una VPN o un bypass de staging devuelven cabeceras que ningún rastreador va a recibir jamás.
2. Busca específicamente X-Robots-Tag y una cabecera Link rel=canonical. Ambas se respetan, ambas son invisibles en el código fuente de la página, y ambas suele ponerlas un desarrollador una vez y no se revisan nunca más.
3. Resuelve todos los conflictos entre cabecera y HTML. Cuando un noindex en cabecera se encuentra con una etiqueta index en el HTML gana la más restrictiva, y la cabecera es justo la que nadie piensa en mirar.
4. Repasa el inventario de ficheros no HTML. Un PDF que duplica una página, una exportación antigua, medios de staging: todos son indexables por defecto, y la cabecera es la única forma de excluirlos manteniéndolos rastreables.
5. Confirma que robots.txt lo sirve el origen que tú crees. Un CDN, una plataforma de hosting o un producto de seguridad pueden servir el suyo propio, y un 5xx en robots.txt suspende el rastreo de todo el host y no solo el de ese fichero.
6. Repite las peticiones desde otra región y con un user agent móvil. Las redirecciones y los bloqueos por país enseñan al rastreador un sitio distinto del que estás auditando, porque Googlebot rastrea mayoritariamente desde direcciones de Estados Unidos.
7. Revisa las cabeceras Vary y de caché allí donde la respuesta cambie según el user agent o el dispositivo, y confirma que el edge no está cacheando la respuesta de un público y sirviéndosela a otro.

## Qué produce esto

Un mapa de cabeceras por tipo de contenido y por regla de edge, que lista cada directiva enviada, la capa que la puso y cómo se resolvió cada conflicto entre cabecera y HTML.

## Dónde falla esto

- Auditar con las herramientas de desarrollo del navegador y tus cookies de sesión activas, con lo que lees la variante de usuario identificado en vez de la del rastreador
- Aplicar X-Robots-Tag noindex a un directorio entero y llevarte por delante páginas de dentro que sí debían posicionar
- Dar por hecho que robots.txt está bajo tu control cuando la plataforma o la capa de seguridad sirve su propia versión
- Bloquear un PDF en robots.txt esperando que salga del índice, cuando el fichero tiene que seguir siendo rastreable para que la cabecera noindex se llegue a leer

---

De la biblioteca de habilidades de QuQi - https://www.quqi.io/es/skills/http-header-directive-audit

Qué necesitas antes

• Capacidad de pedir URL y leer las cabeceras de respuesta en bruto desde fuera de tu propia red, ya que una petición interna puede saltarse el CDN por completo
• Un inventario de las URL no HTML accesibles públicamente: documentos, descargas, medios, exportaciones, endpoints de API
• La configuración del CDN o del edge, incluidas las page rules, los workers, las reglas geográficas y cualquier producto de seguridad que esté en el camino
• Una exportación de rastreo que marque las URL no HTML indexables

Método

1. 01 Pide una URL por tipo de contenido, solo cabeceras, desde fuera de tu red y sin cookies. Una IP de oficina, una VPN o un bypass de staging devuelven cabeceras que ningún rastreador va a recibir jamás.
2. 02 Busca específicamente X-Robots-Tag y una cabecera Link rel=canonical. Ambas se respetan, ambas son invisibles en el código fuente de la página, y ambas suele ponerlas un desarrollador una vez y no se revisan nunca más.
3. 03 Resuelve todos los conflictos entre cabecera y HTML. Cuando un noindex en cabecera se encuentra con una etiqueta index en el HTML gana la más restrictiva, y la cabecera es justo la que nadie piensa en mirar.
4. 04 Repasa el inventario de ficheros no HTML. Un PDF que duplica una página, una exportación antigua, medios de staging: todos son indexables por defecto, y la cabecera es la única forma de excluirlos manteniéndolos rastreables.
5. 05 Confirma que robots.txt lo sirve el origen que tú crees. Un CDN, una plataforma de hosting o un producto de seguridad pueden servir el suyo propio, y un 5xx en robots.txt suspende el rastreo de todo el host y no solo el de ese fichero.
6. 06 Repite las peticiones desde otra región y con un user agent móvil. Las redirecciones y los bloqueos por país enseñan al rastreador un sitio distinto del que estás auditando, porque Googlebot rastrea mayoritariamente desde direcciones de Estados Unidos.
7. 07 Revisa las cabeceras Vary y de caché allí donde la respuesta cambie según el user agent o el dispositivo, y confirma que el edge no está cacheando la respuesta de un público y sirviéndosela a otro.

Qué produce esto

Un mapa de cabeceras por tipo de contenido y por regla de edge, que lista cada directiva enviada, la capa que la puso y cómo se resolvió cada conflicto entre cabecera y HTML.

Dónde falla esto

• Auditar con las herramientas de desarrollo del navegador y tus cookies de sesión activas, con lo que lees la variante de usuario identificado en vez de la del rastreador
• Aplicar X-Robots-Tag noindex a un directorio entero y llevarte por delante páginas de dentro que sí debían posicionar
• Dar por hecho que robots.txt está bajo tu control cuando la plataforma o la capa de seguridad sirve su propia versión
• Bloquear un PDF en robots.txt esperando que salga del índice, cuando el fichero tiene que seguir siendo rastreable para que la cabecera noindex se llegue a leer

Usa esta skill en tu propia IA

El archivo es markdown simple, con el nombre y el disparador en su frontmatter. Cuando un asistente sabe cargar skills por su cuenta, es ese frontmatter lo que lee para decidir que esta le aplica.

Más en SEO técnico