Auditoria às Directivas nos Cabeçalhos HTTP

A maior parte da revisão técnica lê o HTML, mas várias directivas vivem nos cabeçalhos de resposta, onde uma camada de edge as pode acrescentar, retirar ou sobrepor sem qualquer alteração na aplicação e sem deixar rasto no código-fonte da página. Os cabeçalhos são também a única forma de controlar a indexação de ficheiros que não têm sequer um elemento head: PDFs, imagens, exportações CSV e respostas de API. Corra isto sempre que a aplicação diz uma coisa e o índice mostra outra.

O ficheiro da competência

---
name: http-header-directive-audit
description: Use quando as directivas parecem estar a ser ignoradas, quando PDFs ou outros ficheiros não-HTML aparecem na pesquisa, ou sempre que um CDN, um edge worker ou um proxy inverso se interpõem entre a aplicação e o crawler.
---

# Auditoria às Directivas nos Cabeçalhos HTTP

A maior parte da revisão técnica lê o HTML, mas várias directivas vivem nos cabeçalhos de resposta, onde uma camada de edge as pode acrescentar, retirar ou sobrepor sem qualquer alteração na aplicação e sem deixar rasto no código-fonte da página. Os cabeçalhos são também a única forma de controlar a indexação de ficheiros que não têm sequer um elemento head: PDFs, imagens, exportações CSV e respostas de API. Corra isto sempre que a aplicação diz uma coisa e o índice mostra outra.

## O que precisa primeiro

- A possibilidade de pedir URLs e ler os cabeçalhos de resposta em bruto a partir de fora da sua própria rede, já que um pedido interno pode contornar o CDN por completo
- Um inventário dos URLs não-HTML acessíveis publicamente: documentos, descarregamentos, media, exportações, endpoints de API
- A configuração do CDN ou da edge, incluindo page rules, workers, regras geográficas e qualquer produto de segurança no caminho
- Uma exportação de crawl que assinale os URLs não-HTML indexáveis

## Método

1. Peça um URL por tipo de conteúdo, apenas cabeçalhos, a partir de fora da sua rede e sem cookies. Um IP do escritório, uma VPN ou um bypass de staging devolvem cabeçalhos que nenhum crawler vai alguma vez receber.
2. Procure especificamente o X-Robots-Tag e um cabeçalho Link rel=canonical. Ambos são respeitados, ambos são invisíveis no código-fonte da página, e ambos são tipicamente definidos uma vez por um programador e nunca mais revistos.
3. Resolva todos os conflitos entre cabeçalho e HTML. Quando um noindex no cabeçalho encontra uma tag index no HTML ganha a mais restritiva, e o cabeçalho é aquilo que ninguém se lembra de verificar.
4. Percorra o inventário não-HTML. Um PDF que duplica uma página, uma exportação antiga, media de staging: são todos indexáveis por omissão, e o cabeçalho é a única forma de os excluir mantendo-os rastreáveis.
5. Confirme que o robots.txt é servido pela origem que julga. Um CDN, uma plataforma de alojamento ou um produto de segurança podem servir o seu próprio, e um 5xx no robots.txt suspende o rastreio de todo o host e não apenas desse ficheiro.
6. Repita os pedidos a partir de outra região e com uma user agent móvel. Redireccionamentos e bloqueios por país mostram ao crawler um site diferente daquele que está a auditar, porque o Googlebot rastreia predominantemente a partir de endereços dos Estados Unidos.
7. Verifique os cabeçalhos Vary e de cache sempre que a resposta varie por user agent ou por dispositivo, e confirme que a edge não está a guardar em cache a resposta de um público e a servi-la a outro.

## O que isto produz

Um mapa de cabeçalhos por tipo de conteúdo e por regra de edge, que lista cada directiva enviada, a camada que a definiu, e como foi resolvido cada conflito entre cabeçalho e HTML.

## Onde isto corre mal

- Auditar pelas ferramentas de programador do browser com os seus cookies de sessão activos, lendo assim a variante autenticada em vez da variante do crawler
- Aplicar um X-Robots-Tag noindex a um directório inteiro e apanhar páginas lá dentro que era suposto posicionarem-se
- Presumir que o robots.txt é seu para controlar quando é a plataforma ou a camada de segurança a servir a sua própria versão
- Bloquear um PDF no robots.txt e esperar que saia do índice, quando o ficheiro tem de continuar rastreável para que o cabeçalho noindex chegue sequer a ser lido

---

Da biblioteca de competências da QuQi - https://www.quqi.io/pt/skills/http-header-directive-audit

O que precisa primeiro

• A possibilidade de pedir URLs e ler os cabeçalhos de resposta em bruto a partir de fora da sua própria rede, já que um pedido interno pode contornar o CDN por completo
• Um inventário dos URLs não-HTML acessíveis publicamente: documentos, descarregamentos, media, exportações, endpoints de API
• A configuração do CDN ou da edge, incluindo page rules, workers, regras geográficas e qualquer produto de segurança no caminho
• Uma exportação de crawl que assinale os URLs não-HTML indexáveis

Método

1. 01 Peça um URL por tipo de conteúdo, apenas cabeçalhos, a partir de fora da sua rede e sem cookies. Um IP do escritório, uma VPN ou um bypass de staging devolvem cabeçalhos que nenhum crawler vai alguma vez receber.
2. 02 Procure especificamente o X-Robots-Tag e um cabeçalho Link rel=canonical. Ambos são respeitados, ambos são invisíveis no código-fonte da página, e ambos são tipicamente definidos uma vez por um programador e nunca mais revistos.
3. 03 Resolva todos os conflitos entre cabeçalho e HTML. Quando um noindex no cabeçalho encontra uma tag index no HTML ganha a mais restritiva, e o cabeçalho é aquilo que ninguém se lembra de verificar.
4. 04 Percorra o inventário não-HTML. Um PDF que duplica uma página, uma exportação antiga, media de staging: são todos indexáveis por omissão, e o cabeçalho é a única forma de os excluir mantendo-os rastreáveis.
5. 05 Confirme que o robots.txt é servido pela origem que julga. Um CDN, uma plataforma de alojamento ou um produto de segurança podem servir o seu próprio, e um 5xx no robots.txt suspende o rastreio de todo o host e não apenas desse ficheiro.
6. 06 Repita os pedidos a partir de outra região e com uma user agent móvel. Redireccionamentos e bloqueios por país mostram ao crawler um site diferente daquele que está a auditar, porque o Googlebot rastreia predominantemente a partir de endereços dos Estados Unidos.
7. 07 Verifique os cabeçalhos Vary e de cache sempre que a resposta varie por user agent ou por dispositivo, e confirme que a edge não está a guardar em cache a resposta de um público e a servi-la a outro.

O que isto produz

Um mapa de cabeçalhos por tipo de conteúdo e por regra de edge, que lista cada directiva enviada, a camada que a definiu, e como foi resolvido cada conflito entre cabeçalho e HTML.

Onde isto corre mal

• Auditar pelas ferramentas de programador do browser com os seus cookies de sessão activos, lendo assim a variante autenticada em vez da variante do crawler
• Aplicar um X-Robots-Tag noindex a um directório inteiro e apanhar páginas lá dentro que era suposto posicionarem-se
• Presumir que o robots.txt é seu para controlar quando é a plataforma ou a camada de segurança a servir a sua própria versão
• Bloquear um PDF no robots.txt e esperar que saia do índice, quando o ficheiro tem de continuar rastreável para que o cabeçalho noindex chegue sequer a ser lido

Use esta skill na sua própria IA

O ficheiro é markdown simples, com o nome e o gatilho no frontmatter. Quando um assistente consegue carregar skills sozinho, é esse frontmatter que lê para decidir que esta se aplica.

Mais em SEO técnico