Política de acesso para crawlers de IA

Bloquear bots de IA é tratado como uma única decisão, mas os agentes fazem trabalhos diferentes: uns recolhem dados de treino, outros vão buscar uma página em directo no momento em que um utilizador faz uma pergunta. Bloqueie os segundos e deixa de poder ser citado, por melhor que a página seja. A falha mais difícil é silenciosa - o robots.txt permite o agente enquanto uma regra de WAF, um gestor de bots ou um desafio da CDN lhe devolve 403, e ninguém lê os logs por user agent.

O ficheiro da competência

---
name: ai-crawler-access-diagnosis
description: Use quando está a decidir que agentes de IA podem aceder ao seu site, ou quando os permite no robots.txt e continua a suspeitar que algo mais abaixo na stack os está a recusar.
---

# Política de acesso para crawlers de IA

Bloquear bots de IA é tratado como uma única decisão, mas os agentes fazem trabalhos diferentes: uns recolhem dados de treino, outros vão buscar uma página em directo no momento em que um utilizador faz uma pergunta. Bloqueie os segundos e deixa de poder ser citado, por melhor que a página seja. A falha mais difícil é silenciosa - o robots.txt permite o agente enquanto uma regra de WAF, um gestor de bots ou um desafio da CDN lhe devolve 403, e ninguém lê os logs por user agent.

## O que precisa primeiro

- O robots.txt actual, incluindo quaisquer regras injectadas na edge da CDN ou herdadas por subdomínios
- Logs em bruto do servidor ou da CDN com user agent e estado da resposta, 30 dias no mínimo, e não analítica por amostragem
- O conjunto de regras de gestão de bots ou do WAF, e o nome de quem o pode alterar
- Uma posição declarada do negócio sobre o uso para treino, distinta do uso para recuperação

## Método

1. Liste os agentes que de facto o visitam, tirados dos logs e não de um artigo de blogue. Os nomes mudam entre versões, e uma regra para um agente que nunca aparece é ruído que ficará a manter para sempre.
2. Separe-os por função: recolectores de treino, agentes de recuperação em directo que correm quando um utilizador faz uma pergunta, e crawlers de pesquisa que alimentam respostas de IA dentro de um motor de busca. Uma regra única obriga-o a errar em pelo menos dois dos três.
3. Decida o treino em separado da recuperação e registe a razão. Este ponto é genuinamente contestado: um editor com um arquivo licenciável e um fornecedor que quer ser recomendado chegam a respostas opostas, e ambas são defensáveis.
4. Escreva os grupos do robots.txt por user agent, do mais específico para o mais geral, com um comentário a indicar a data da decisão e o responsável, para que o ficheiro não seja discretamente revertido na próxima migração.
5. Repita um pedido contra um URL real enviando a string de cada agente permitido, e registe o código de estado. É este passo que expõe um WAF ou um gestor de bots a sobrepor-se ao seu robots.txt.
6. Vigie os códigos de estado por agente durante quinze dias depois de qualquer alteração. Uma taxa sustentada de 403 ou de desafios para um agente que permitiu deliberadamente significa que o bloqueio está abaixo do robots.txt e que a regra que escreveu é decorativa.
7. Volte a correr a lista toda trimestralmente. Aparecem agentes novos, e um agente renomeado entre versões não herda nenhuma das suas regras.

## O que isto produz

Uma política de acesso de uma página que lista todos os agentes de IA vistos nos logs, a decisão de permitir ou bloquear, a razão, e um código de estado verificado que prova que o servidor se comporta assim.

## Onde isto corre mal

- Tratar o robots.txt como a resposta completa quando um fornecedor de gestão de bots bloqueia o agente na mesma e nenhum painel o mostra
- Bloquear um recolector de treino e um agente de recuperação em directo com uma só regra, o que o remove das respostas para ganhar uma discussão sobre dados de treino
- Copiar o robots.txt de um editor cujo modelo de negócio faz do não ser citável o objectivo
- Ler o robots.txt como imposição - é um pedido, e os scrapers sem nome ignoram-no por completo

---

Da biblioteca de competências da QuQi - https://www.quqi.io/pt/skills/ai-crawler-access-diagnosis

O que precisa primeiro

• O robots.txt actual, incluindo quaisquer regras injectadas na edge da CDN ou herdadas por subdomínios
• Logs em bruto do servidor ou da CDN com user agent e estado da resposta, 30 dias no mínimo, e não analítica por amostragem
• O conjunto de regras de gestão de bots ou do WAF, e o nome de quem o pode alterar
• Uma posição declarada do negócio sobre o uso para treino, distinta do uso para recuperação

Método

1. 01 Liste os agentes que de facto o visitam, tirados dos logs e não de um artigo de blogue. Os nomes mudam entre versões, e uma regra para um agente que nunca aparece é ruído que ficará a manter para sempre.
2. 02 Separe-os por função: recolectores de treino, agentes de recuperação em directo que correm quando um utilizador faz uma pergunta, e crawlers de pesquisa que alimentam respostas de IA dentro de um motor de busca. Uma regra única obriga-o a errar em pelo menos dois dos três.
3. 03 Decida o treino em separado da recuperação e registe a razão. Este ponto é genuinamente contestado: um editor com um arquivo licenciável e um fornecedor que quer ser recomendado chegam a respostas opostas, e ambas são defensáveis.
4. 04 Escreva os grupos do robots.txt por user agent, do mais específico para o mais geral, com um comentário a indicar a data da decisão e o responsável, para que o ficheiro não seja discretamente revertido na próxima migração.
5. 05 Repita um pedido contra um URL real enviando a string de cada agente permitido, e registe o código de estado. É este passo que expõe um WAF ou um gestor de bots a sobrepor-se ao seu robots.txt.
6. 06 Vigie os códigos de estado por agente durante quinze dias depois de qualquer alteração. Uma taxa sustentada de 403 ou de desafios para um agente que permitiu deliberadamente significa que o bloqueio está abaixo do robots.txt e que a regra que escreveu é decorativa.
7. 07 Volte a correr a lista toda trimestralmente. Aparecem agentes novos, e um agente renomeado entre versões não herda nenhuma das suas regras.

O que isto produz

Uma política de acesso de uma página que lista todos os agentes de IA vistos nos logs, a decisão de permitir ou bloquear, a razão, e um código de estado verificado que prova que o servidor se comporta assim.

Onde isto corre mal

• Tratar o robots.txt como a resposta completa quando um fornecedor de gestão de bots bloqueia o agente na mesma e nenhum painel o mostra
• Bloquear um recolector de treino e um agente de recuperação em directo com uma só regra, o que o remove das respostas para ganhar uma discussão sobre dados de treino
• Copiar o robots.txt de um editor cujo modelo de negócio faz do não ser citável o objectivo
• Ler o robots.txt como imposição - é um pedido, e os scrapers sem nome ignoram-no por completo

Use esta skill na sua própria IA

O ficheiro é markdown simples, com o nome e o gatilho no frontmatter. Quando um assistente consegue carregar skills sozinho, é esse frontmatter que lê para decidir que esta se aplica.

Mais em Pesquisa com IA (GEO)