Lista de rastreadores de IA en 2026: cuáles permitir

Los rastreadores de IA que ve un sitio web en 2026 son de tres tipos: rastreadores de entrenamiento como GPTBot, ClaudeBot y CCBot; rastreadores de búsqueda como OAI-SearchBot, Claude-SearchBot y PerplexityBot; y agentes de consulta en directo como ChatGPT-User, que abren una página mientras alguien chatea. Un negocio que quiere que las respuestas de IA lo citen debería permitir los rastreadores de búsqueda y los agentes de consulta en directo, y decidir aparte sobre el entrenamiento. Google-Extended y Applebot-Extended no son rastreadores: son tokens de robots.txt que controlan cómo pueden usar Google y Apple tus páginas para la IA.

A continuación: la lista, las líneas de robots.txt para cada política y los cambios de Cloudflare en 2026. Para saber cómo elige sus fuentes la búsqueda con IA, lee cómo posicionar en ChatGPT y en la búsqueda con IA.

Lista de rastreadores de IA en 2026, con sus tokens de robots.txt

La siguiente lista de rastreadores de IA recoge los bots de IA que documentan las grandes empresas a octubre de 2026, tomados de las páginas sobre rastreadores de OpenAI, Anthropic, Perplexity, Google, Apple y las demás empresas que se nombran. El token es el nombre que va después de User-agent: en robots.txt. La última columna recoge lo que dice cada empresa, no lo que alguien haya medido.

Falta ByteDance, la propietaria de TikTok: no publica ninguna documentación sobre rastreadores que hayamos podido encontrar. En octubre de 2024, Fortune informó de una investigación de Kasada, una empresa de gestión de bots, según la cual su rastreador, Bytespider, ignoraba robots.txt.

Rastreadores de entrenamiento, rastreadores de búsqueda y agentes de consulta en directo: ¿en qué se diferencian?

Los rastreadores de IA se diferencian por lo que pasa con tu página después de la visita. Un rastreador de entrenamiento recopila páginas que pueden acabar dentro de un futuro modelo de IA. Un rastreador de búsqueda construye el índice en el que busca un asistente cuando responde, y así es como una página acaba citada con un enlace. Un agente de consulta en directo abre una sola página porque una persona lo ha pedido, en ese mismo momento.

Cada tipo tiene su propio interruptor. OpenAI dice que “cada ajuste es independiente de los demás”, así que un sitio puede bloquear GPTBot y seguir apareciendo en la búsqueda de ChatGPT. Anthropic, Perplexity, Meta, Amazon y Mistral separan sus bots de la misma forma.

Los agentes de consulta en directo son el grupo incómodo: OpenAI, Perplexity, Google, Meta y Amazon dicen que los suyos pueden no seguir robots.txt, porque la petición la inició una persona. Anthropic dice que Claude-User sí lo sigue.

Qué bloquean de verdad Google-Extended y Applebot-Extended

Google-Extended es un token de robots.txt, no un rastreador. Google dice que “no tiene una cadena de user agent propia para las solicitudes HTTP”: el rastreo lo hace Googlebot, y el token solo le indica a Google cómo puede usar lo que Googlebot ha obtenido.

Bloquear Google-Extended deja tus páginas fuera del entrenamiento de los futuros modelos Gemini y fuera de la fundamentación (grounding), las consultas en directo que hay detrás de las respuestas de la app de Gemini y de Vertex AI, la plataforma de IA en la nube de Google. Google dice que no afecta a la inclusión en la Búsqueda y que no es una señal de posicionamiento.

Google-Extended tampoco te saca de los AI Overviews ni de AI Mode, que se basan en el índice de la Búsqueda. Esas funciones tienen sus propios controles: la etiqueta nosnippet y un ajuste de IA generativa en Search Console que, según Google, llegó a todos los sitios el 31 de agosto de 2026. Consulta nuestra guía para aparecer en los AI Overviews de Google.

Applebot-Extended funciona igual para Apple. Apple dice que “no rastrea páginas web” y que solo decide si las páginas que recopiló Applebot pueden entrenar sus modelos fundacionales. Las páginas que lo bloquean pueden seguir apareciendo en la búsqueda de Siri, Spotlight y Safari, y la regla no se usa para el posicionamiento. Bloquear el propio Applebot es otra cosa: eso detiene el rastreo en el que se apoyan las funciones de búsqueda de Apple.

¿Los rastreadores de IA respetan robots.txt?

La mayoría de los rastreadores de IA de las grandes empresas dicen respetar robots.txt, pero robots.txt es una petición, no un candado. Nada técnico detiene a un rastreador que lo ignora, y cualquier scraper puede usar un nombre conocido. Toma la última columna de la tabla como la política declarada y después revisa los registros de tu servidor, comparando la dirección IP de cada visita con la lista que publica la empresa.

Esas políticas ya se han puesto a prueba en público. En agosto de 2025, Cloudflare acusó a Perplexity de usar rastreadores no declarados que se hacían pasar por un navegador Chrome para llegar a sitios que lo habían bloqueado, y retiró a Perplexity de su lista de bots verificados. Perplexity calificó el análisis de erróneo y dijo que Cloudflare había confundido las consultas que piden los usuarios con el rastreo. En la misma publicación, Cloudflare puso a OpenAI como ejemplo de buena práctica: ChatGPT-User se detuvo cuando se le bloqueó.

Además, robots.txt solo funciona hacia delante: Anthropic dice que bloquear ClaudeBot excluye del entrenamiento los “materiales futuros” de un sitio.

¿Deberías bloquear los rastreadores de IA?

La mayoría de las webs de negocios no deberían bloquear los rastreadores de búsqueda de IA, porque eso las saca de respuestas que podrían traerles clientes. Bloquear los rastreadores de entrenamiento es una decisión aparte y de menor alcance. OpenAI y Apple dicen que bloquearlos deja las páginas fuera de los modelos futuros sin ocultarlas de la búsqueda, y Anthropic tiene un bot distinto para cada tarea.

El argumento para bloquear el entrenamiento tiene que ver con el valor. Cloudflare informó de que el 52 % de las peticiones de rastreadores que vio en junio de 2026 eran para entrenar IA, frente al 22 % en la primavera de 2025, y el entrenamiento no devuelve visitas. Los editores que venden o licencian sus textos tienen buenos motivos para decir que no.

El argumento para permitirlo no está demostrado: un modelo que ha aprendido sobre tu negocio podría describirlo correctamente sin buscar. Ninguna empresa de IA documenta ese efecto, así que tómalo como una apuesta.

Hay dos trampas en las que caen los sitios que bloquean. Google-Extended también controla la fundamentación en la app de Gemini, así que bloquearlo puede costarte respuestas en la app de Gemini. Y cuando los agentes de consulta en directo respetan un bloqueo, los asistentes ya no pueden abrir tu página cuando alguien pregunta por ti por tu nombre. Cloudflare dijo en septiembre de 2026 que menos del 1 % de los sitios de su red bloquea los rastreadores de búsqueda, mientras que el 17 % restringe el entrenamiento de IA.

Ejemplos de robots.txt para rastreadores de IA

El robots.txt es un archivo de texto plano en la raíz de un dominio, como yoursite.com/robots.txt, y cada subdominio necesita el suyo. Hay una regla que confunde a mucha gente: un rastreador solo sigue el grupo que lo nombra de forma más específica e ignora el grupo User-agent: *, como explica la documentación de Google sobre robots.txt. Si nombras a un bot, repite las líneas Disallow que todavía deba respetar.

Permitir todos los rastreadores de IA

El propio robots.txt de QuQi lo permite todo. Después de User-agent: * y Allow: /, nombra once tokens de IA en un solo grupo y repite sus dos rutas privadas:

• User-agent: GPTBot
• User-agent: OAI-SearchBot
• User-agent: ChatGPT-User
• User-agent: ClaudeBot
• User-agent: Claude-SearchBot
• User-agent: Claude-User
• User-agent: PerplexityBot
• User-agent: Perplexity-User
• User-agent: Google-Extended
• User-agent: Applebot-Extended
• User-agent: CCBot
• Allow: /
• Disallow: /admin
• Disallow: /api/

Bloquear el entrenamiento de IA y seguir en la búsqueda con IA

Añade un grupo que bloquee solo los tokens de entrenamiento y deja todo lo demás como está:

• User-agent: GPTBot
• User-agent: ClaudeBot
• User-agent: Google-Extended
• User-agent: Applebot-Extended
• User-agent: meta-externalagent
• User-agent: MistralAI-Training
• User-agent: CCBot
• Disallow: /

Amazonbot es una cuestión de criterio: Amazon dice que puede entrenar sus modelos de IA, pero también da servicio a otras funciones de Amazon, mientras que Amzn-SearchBot se encarga de la búsqueda. Bing no tiene un token de entrenamiento en robots.txt. Su control es la etiqueta de página noarchive, que desde 2023 deja una página fuera de las respuestas del chat de Bing, hoy Copilot, y del entrenamiento de los modelos de Microsoft. Cloudflare informó de que Microsoft tiene prevista una opción de robots.txt para principios de 2027.

Bloquear todos los rastreadores de IA

Pon todos los tokens de la tabla, salvo Googlebot, Bingbot y Applebot, en un solo grupo que termine en Disallow: /. Aun así quedan tres cosas abiertas:

• Las funciones de IA de Google, Bing y Apple, que usan sus rastreadores de búsqueda. Esas dependen del ajuste de Search Console, de nosnippet y de noarchive, no de robots.txt.
• Los agentes de consulta en directo que pueden ignorar robots.txt. Solo los detiene una regla del cortafuegos o del CDN.
• Todo lo que se recopiló antes de poner la regla.

¿Cloudflare bloquea los rastreadores de IA por defecto?

Cloudflare bloquea algunos rastreadores de IA por defecto en los sitios nuevos. Desde el 15 de septiembre de 2026, los dominios nuevos reciben una configuración por defecto que bloquea los bots de entrenamiento de IA y de agentes de IA en las páginas que muestran anuncios, mientras que los rastreadores de búsqueda siguen permitidos. A los sitios sin anuncios se les ofrece una configuración predefinida que permite los tres.

• 1 de julio de 2025: Cloudflare empezó a bloquear por defecto los rastreadores de entrenamiento de IA en los dominios nuevos.
• 1 de julio de 2026: el tráfico de IA se dividió en Search, Agent y Training, y cada cliente configura cada uno por separado, incluido el plan gratuito.
• 15 de septiembre de 2026: entraron en vigor los valores por defecto que tienen en cuenta los anuncios y se lanzó Disallow AI Training. El antiguo interruptor Block AI bots dejó paso a los tres controles, y el robots.txt gestionado, a Bot Preference Sync, anunciado en agosto.

La trampa es elegir Block para Training. Googlebot, Bingbot y Applebot rastrean tanto para la búsqueda como para el entrenamiento, y Cloudflare aplica la regla más estricta, así que esa opción los bloquea y puede sacar un sitio de Google. Disallow AI Training lo evita publicando en robots.txt una preferencia contra el entrenamiento, con Google-Extended y Applebot-Extended incluidos, mientras el rastreo de búsqueda sigue abierto. Bot Preference Sync escribe esas líneas encima de tus propias reglas, así que revisa tu robots.txt publicado.

Cómo te ayuda QuQi

Dejar entrar a los rastreadores de búsqueda hace que un sitio sea apto, no que lo nombren. El compañero Visibilidad en IA de QuQi comprueba cada semana si el AI Overview de Google, ChatGPT, Perplexity y Gemini nombran a tu negocio ante las preguntas que hacen tus compradores, anota a quién nombran en tu lugar y convierte cada carencia en un encargo para el Redactor. El Auditor SEO audita el sitio y pone primero lo que más tráfico cuesta. Cada sesión se ejecuta en un chat que puedes abrir y en el que puedes intervenir. Consulta los precios.

Preguntas frecuentes