Política de acceso para rastreadores de IA

Bloquear bots de IA se trata como una sola decisión, pero los agentes hacen trabajos distintos: unos recopilan datos de entrenamiento y otros descargan una página en vivo justo en el momento en que un usuario hace una pregunta. Bloquea a los segundos y no te podrán citar en absoluto, por buena que sea la página. El fallo más difícil es silencioso: robots.txt permite al agente mientras una regla del WAF, el gestor de bots o un desafío del CDN le devuelve 403, y nadie lee los logs por user agent.

El archivo de la habilidad

---
name: ai-crawler-access-diagnosis
description: Úsalo cuando decidas qué agentes de IA pueden descargar tu sitio, o cuando los permitas en robots.txt y aun así sospeches que algo más abajo en la pila los está rechazando.
---

# Política de acceso para rastreadores de IA

Bloquear bots de IA se trata como una sola decisión, pero los agentes hacen trabajos distintos: unos recopilan datos de entrenamiento y otros descargan una página en vivo justo en el momento en que un usuario hace una pregunta. Bloquea a los segundos y no te podrán citar en absoluto, por buena que sea la página. El fallo más difícil es silencioso: robots.txt permite al agente mientras una regla del WAF, el gestor de bots o un desafío del CDN le devuelve 403, y nadie lee los logs por user agent.

## Qué necesitas antes

- El robots.txt actual, incluidas las reglas inyectadas en el borde del CDN o heredadas por los subdominios
- Logs en bruto del servidor o del CDN con user agent y estado de respuesta, 30 días como mínimo, no analítica muestreada
- El conjunto de reglas de gestión de bots o del WAF, y el nombre de quien puede cambiarlas
- Una postura de negocio declarada sobre el uso para entrenamiento, separada de la del uso para recuperación

## Método

1. Enumera los agentes que te visitan de verdad, sacándolos de los logs y no de una entrada de blog. Los nombres cambian entre versiones, y una regla para un agente que nunca aparece es ruido que mantendrás para siempre.
2. Sepáralos por función: recolectores de entrenamiento, descargadores de recuperación en vivo que actúan cuando un usuario pregunta, y rastreadores de búsqueda que alimentan respuestas de IA dentro de un buscador. Una sola regla general te obliga a equivocarte en al menos dos de los tres.
3. Decide el entrenamiento por separado de la recuperación y registra el motivo. Este punto está genuinamente discutido: un editor con un archivo licenciable y un proveedor que quiere que le recomienden llegan a respuestas opuestas, y las dos son defendibles.
4. Escribe los grupos de robots.txt por user agent, del más específico al más general, con un comentario que indique la fecha de la decisión y su responsable, para que el archivo no se revierta en silencio en la siguiente migración.
5. Repite una petición contra una URL real enviando la cadena de cada agente permitido, y anota el código de estado. Este es el paso que destapa un WAF o un gestor de bots pasando por encima de tu robots.txt.
6. Vigila los códigos de estado por agente durante quince días después de cualquier cambio. Una tasa sostenida de 403 o de desafíos para un agente que permitiste a propósito significa que el bloqueo está por debajo de robots.txt y que la regla que escribiste es decorativa.
7. Repasa la lista entera cada trimestre. Aparecen agentes nuevos, y un agente renombrado entre versiones no hereda ninguna de tus reglas.

## Qué produce esto

Una política de acceso de una página que enumera cada agente de IA visto en los logs, la decisión de permitir o bloquear, el motivo y un código de estado verificado que demuestra que el servidor se comporta así.

## Dónde falla esto

- Tomar robots.txt por la respuesta completa cuando un proveedor de gestión de bots bloquea al agente igualmente y ningún panel lo muestra
- Bloquear con una sola regla a un recolector de entrenamiento y a un descargador de recuperación en vivo, lo que te saca de las respuestas para ganar una discusión sobre datos de entrenamiento
- Copiar el robots.txt de un editor cuyo modelo de negocio hace que no ser citable sea precisamente el objetivo
- Leer robots.txt como si fuera aplicación efectiva: es una petición, y los scrapers sin nombre lo ignoran por completo

---

De la biblioteca de habilidades de QuQi - https://www.quqi.io/es/skills/ai-crawler-access-diagnosis

Qué necesitas antes

• El robots.txt actual, incluidas las reglas inyectadas en el borde del CDN o heredadas por los subdominios
• Logs en bruto del servidor o del CDN con user agent y estado de respuesta, 30 días como mínimo, no analítica muestreada
• El conjunto de reglas de gestión de bots o del WAF, y el nombre de quien puede cambiarlas
• Una postura de negocio declarada sobre el uso para entrenamiento, separada de la del uso para recuperación

Método

1. 01 Enumera los agentes que te visitan de verdad, sacándolos de los logs y no de una entrada de blog. Los nombres cambian entre versiones, y una regla para un agente que nunca aparece es ruido que mantendrás para siempre.
2. 02 Sepáralos por función: recolectores de entrenamiento, descargadores de recuperación en vivo que actúan cuando un usuario pregunta, y rastreadores de búsqueda que alimentan respuestas de IA dentro de un buscador. Una sola regla general te obliga a equivocarte en al menos dos de los tres.
3. 03 Decide el entrenamiento por separado de la recuperación y registra el motivo. Este punto está genuinamente discutido: un editor con un archivo licenciable y un proveedor que quiere que le recomienden llegan a respuestas opuestas, y las dos son defendibles.
4. 04 Escribe los grupos de robots.txt por user agent, del más específico al más general, con un comentario que indique la fecha de la decisión y su responsable, para que el archivo no se revierta en silencio en la siguiente migración.
5. 05 Repite una petición contra una URL real enviando la cadena de cada agente permitido, y anota el código de estado. Este es el paso que destapa un WAF o un gestor de bots pasando por encima de tu robots.txt.
6. 06 Vigila los códigos de estado por agente durante quince días después de cualquier cambio. Una tasa sostenida de 403 o de desafíos para un agente que permitiste a propósito significa que el bloqueo está por debajo de robots.txt y que la regla que escribiste es decorativa.
7. 07 Repasa la lista entera cada trimestre. Aparecen agentes nuevos, y un agente renombrado entre versiones no hereda ninguna de tus reglas.

Qué produce esto

Una política de acceso de una página que enumera cada agente de IA visto en los logs, la decisión de permitir o bloquear, el motivo y un código de estado verificado que demuestra que el servidor se comporta así.

Dónde falla esto

• Tomar robots.txt por la respuesta completa cuando un proveedor de gestión de bots bloquea al agente igualmente y ningún panel lo muestra
• Bloquear con una sola regla a un recolector de entrenamiento y a un descargador de recuperación en vivo, lo que te saca de las respuestas para ganar una discusión sobre datos de entrenamiento
• Copiar el robots.txt de un editor cuyo modelo de negocio hace que no ser citable sea precisamente el objetivo
• Leer robots.txt como si fuera aplicación efectiva: es una petición, y los scrapers sin nombre lo ignoran por completo

Usa esta skill en tu propia IA

El archivo es markdown simple, con el nombre y el disparador en su frontmatter. Cuando un asistente sabe cargar skills por su cuenta, es ese frontmatter lo que lee para decidir que esta le aplica.

Más en Búsqueda con IA (GEO)