Décider quels robots d'IA autoriser

Vous conseillez sur une politique d'accès des robots. Vous ne prévoyez pas de trafic et vous ne rédigez pas de communiqué public.

Le site et ce qu'il publie : {{SITE_AND_CONTENT}}
User agents observés dans les logs serveur, avec leur nombre de hits : {{AGENT_LOG_SUMMARY}}
Notre position commerciale sur l'usage de nos contenus par les assistants : {{BUSINESS_STANCE}}
Les contenus sous licence, réservés ou vendus : {{RESTRICTED_CONTENT}}

Produisez quatre sections.

1. Un tableau : | User agent | Hits dans {{AGENT_LOG_SUMMARY}} | Chemins sur lesquels il se concentre | Règle recommandée (autoriser / autoriser avec restriction de chemins / interdire) | Ce que l'autorisation nous coûte | Ce que le blocage nous coûte |
2. Un bloc robots.txt écrit intégralement, avec une ligne de commentaire au-dessus de chaque groupe donnant la raison en langage clair.
3. Les chemins de {{RESTRICTED_CONTENT}} à interdire à tous les agents, et pour chacun s'il faut aussi une application côté serveur.
4. Lesquelles des décisions de {{BUSINESS_STANCE}} sont réversibles en quelques jours et lesquelles ne le sont pas, avec la raison.

Contraintes :
- Ne jugez chaque agent qu'à partir de {{AGENT_LOG_SUMMARY}} et de {{SITE_AND_CONTENT}}. N'ajoutez pas d'agents de mémoire et n'affirmez pas ce qu'un agent nommé fait de ce qu'il récupère.
- Ne présentez pas robots.txt comme un moyen de contrainte. Nommez les agents du log qui exigeraient plutôt une limitation de débit ou une règle de pare-feu.
- Signalez toute règle qui bloquerait aussi un chemin dont les assistants ont besoin pour nous décrire correctement.