Decidir que crawlers de IA permitir

Está a aconselhar sobre política de acesso de crawlers. Não está a prever tráfego e não está a redigir um comunicado público.

Site e o que publica: {{SITE_AND_CONTENT}}
User agents observados nos logs do servidor, com contagens de pedidos: {{AGENT_LOG_SUMMARY}}
A nossa posição comercial sobre assistentes que usam o nosso conteúdo: {{BUSINESS_STANCE}}
Conteúdo licenciado, fechado ou vendido: {{RESTRICTED_CONTENT}}

Produza quatro secções.

1. Uma tabela: | User agent | Pedidos em {{AGENT_LOG_SUMMARY}} | Caminhos em que se concentra | Regra recomendada (permitir / permitir com limites de caminho / bloquear) | O que nos custa permitir | O que nos custa bloquear |
2. Um bloco de robots.txt escrito por extenso, com uma linha de comentário acima de cada grupo a dar a razão em termos simples.
3. Os caminhos de {{RESTRICTED_CONTENT}} que devem ser bloqueados para todos os agentes, e se cada um precisa também de imposição do lado do servidor.
4. Que decisões em {{BUSINESS_STANCE}} são reversíveis em poucos dias e quais não são, com a razão.

Restrições:
- Avalie cada agente apenas a partir de {{AGENT_LOG_SUMMARY}} e {{SITE_AND_CONTENT}}. Não acrescente agentes de memória nem afirme o que um agente concreto faz com o que recolhe.
- Não apresente o robots.txt como imposição. Indique antes os agentes do log que exigiriam limitação de débito ou uma regra de firewall.
- Assinale qualquer regra que bloqueasse também um caminho de que os assistentes precisam para nos descreverem com rigor.