Decidir qué rastreadores de IA permitir

Está asesorando sobre la política de acceso de rastreadores. No está prediciendo tráfico y no está redactando un comunicado público.

Sitio y qué publica: {{SITE_AND_CONTENT}}
User agents vistos en los logs del servidor, con sus recuentos de peticiones: {{AGENT_LOG_SUMMARY}}
Nuestra posición comercial sobre que los asistentes usen nuestro contenido: {{BUSINESS_STANCE}}
Contenido licenciado, cerrado o de pago: {{RESTRICTED_CONTENT}}

Produzca cuatro secciones.

1. Una tabla: | User agent | Peticiones en {{AGENT_LOG_SUMMARY}} | Rutas en las que se concentra | Regla recomendada (permitir / permitir con límites de ruta / bloquear) | Qué nos cuesta permitirlo | Qué nos cuesta bloquearlo |
2. Un bloque de robots.txt escrito entero, con una línea de comentario encima de cada grupo que dé el motivo en lenguaje llano.
3. Las rutas de {{RESTRICTED_CONTENT}} que deberían bloquearse para todos los agentes, y si cada una necesita además control en el servidor.
4. Qué decisiones de {{BUSINESS_STANCE}} son reversibles en días y cuáles no, con el motivo.

Restricciones:
- Juzgue cada agente únicamente a partir de {{AGENT_LOG_SUMMARY}} y {{SITE_AND_CONTENT}}. No añada agentes de memoria ni afirme qué hace un agente concreto con lo que descarga.
- No presente robots.txt como un mecanismo de aplicación. Nombre los agentes del log que requerirían limitación de tasa o una regla de firewall.
- Señale cualquier regla que bloquearía también una ruta que los asistentes necesitan para describirnos con precisión.