Liste des crawlers IA en 2026 : lesquels autoriser

Les robots d’IA (ou crawlers IA) qui visitent un site en 2026 sont de trois types : les robots d’entraînement comme GPTBot, ClaudeBot et CCBot, les robots de recherche comme OAI-SearchBot, Claude-SearchBot et PerplexityBot, et les robots de consultation en direct comme ChatGPT-User, qui ouvrent une page pendant qu’une personne discute avec un assistant. Une entreprise qui veut être citée dans les réponses de l’IA doit autoriser les robots de recherche et de consultation en direct, puis trancher à part la question de l’entraînement. Google-Extended et Applebot-Extended ne sont pas du tout des robots : ce sont des jetons du robots.txt qui déterminent comment Google et Apple peuvent utiliser vos pages pour l’IA.

Au programme : la liste, les lignes de robots.txt pour chaque politique, et les changements de Cloudflare en 2026. Pour savoir comment la recherche IA choisit ses sources, lisez comment apparaître dans ChatGPT et la recherche IA.

Liste des crawlers IA en 2026, avec leurs jetons robots.txt

La liste des crawlers IA ci-dessous couvre les robots d’IA que documentent les grandes entreprises en octobre 2026, d’après les pages consacrées à leurs robots chez OpenAI, Anthropic, Perplexity, Google, Apple et les autres entreprises citées. Le jeton est le nom qui suit User-agent: dans le robots.txt. La dernière colonne rapporte ce que dit chaque entreprise, pas ce que quelqu’un a mesuré.

ByteDance, propriétaire de TikTok, n’y figure pas : l’entreprise ne publie aucune documentation sur ses robots que nous ayons pu trouver. En octobre 2024, Fortune a rapporté une étude de Kasada, une entreprise spécialisée dans la gestion des bots, selon laquelle son robot, Bytespider, ignorait le robots.txt.

Robots d’entraînement, de recherche et de consultation en direct : quelle différence ?

Les robots d’IA se distinguent par ce qui arrive à votre page après leur visite. Un robot d’entraînement collecte des pages qui pourront finir dans un futur modèle d’IA. Un robot de recherche construit l’index que consulte un assistant quand il répond : c’est ainsi qu’une page est citée avec un lien. Un robot de consultation en direct ouvre une seule page parce qu’une personne vient de le demander.

Chaque type a son propre interrupteur. OpenAI indique que « chaque réglage est indépendant des autres » : un site peut donc interdire GPTBot et apparaître quand même dans la recherche ChatGPT. Anthropic, Perplexity, Meta, Amazon et Mistral séparent leurs robots de la même façon.

Les robots de consultation en direct forment le groupe délicat : OpenAI, Perplexity, Google, Meta et Amazon indiquent que les leurs peuvent ne pas suivre le robots.txt, puisque c’est une personne qui a lancé la demande. Anthropic affirme que Claude-User le suit.

Ce que Google-Extended et Applebot-Extended bloquent vraiment

Google-Extended est un jeton du robots.txt, pas un robot. Google précise qu’il « n’a pas de chaîne user-agent distincte pour les requêtes HTTP » : c’est Googlebot qui explore, et le jeton indique seulement à Google comment il peut utiliser ce que Googlebot a récupéré.

Interdire Google-Extended exclut vos pages de l’entraînement des futurs modèles Gemini et de l’ancrage (grounding), c’est-à-dire les recherches en direct derrière les réponses de l’application Gemini et de Vertex AI, la plateforme d’IA dans le cloud de Google. Google précise que cela n’a aucun effet sur la présence dans la recherche et que ce n’est pas un signal de classement.

Google-Extended ne vous exclut pas non plus des AI Overviews ni d’AI Mode, qui puisent dans l’index de la recherche. Ces fonctionnalités ont leurs propres réglages : la balise nosnippet, et un réglage d’IA générative dans Search Console qui, selon Google, a été étendu à tous les sites le 31 août 2026. Consultez notre guide pour apparaître dans les AI Overviews de Google.

Applebot-Extended fonctionne de la même façon pour Apple. Apple indique qu’il « n’explore pas les pages web » et décide seulement si les pages collectées par Applebot peuvent entraîner les modèles de fondation d’Apple. Les pages qui l’interdisent peuvent toujours apparaître dans la recherche de Siri, Spotlight et Safari, et la règle n’est pas utilisée pour le classement. Bloquer Applebot lui-même, c’est autre chose : cela arrête l’exploration sur laquelle reposent les fonctions de recherche d’Apple.

Les robots d’IA respectent-ils le robots.txt ?

La plupart des robots d’IA des grandes entreprises disent respecter le robots.txt, mais le robots.txt est une demande, pas un verrou. Rien de technique n’arrête un robot qui l’ignore, et n’importe quel scraper peut emprunter un nom connu. Considérez la dernière colonne du tableau comme une politique déclarée, puis vérifiez les journaux de votre serveur en comparant l’adresse IP de chaque visite à la liste publiée par l’entreprise.

Ces politiques ont été mises à l’épreuve publiquement. En août 2025, Cloudflare a accusé Perplexity d’utiliser des robots non déclarés se faisant passer pour un navigateur Chrome afin d’accéder à des sites qui l’avaient bloqué, et a retiré Perplexity de sa liste de robots vérifiés. Perplexity a jugé l’analyse erronée, affirmant que Cloudflare avait confondu des consultations demandées par des utilisateurs avec de l’exploration. Dans le même article, Cloudflare citait OpenAI en exemple de bonne pratique : ChatGPT-User s’arrêtait quand il était interdit.

Le robots.txt ne vaut en outre que pour l’avenir : Anthropic précise qu’un blocage de ClaudeBot exclut de l’entraînement les « contenus futurs » d’un site.

Faut-il bloquer les robots d’IA ?

La plupart des sites d’entreprise ne devraient pas bloquer les robots de recherche IA, car cela les retire de réponses qui pourraient leur envoyer des clients. Bloquer les robots d’entraînement est une décision distincte et de moindre portée. OpenAI et Apple indiquent que cela exclut les pages des futurs modèles sans les cacher de la recherche, et Anthropic utilise un robot distinct pour chaque tâche.

L’argument en faveur du blocage de l’entraînement tient à la valeur. Cloudflare a indiqué que 52 % des requêtes de robots observées en juin 2026 servaient à l’entraînement de l’IA, contre 22 % au printemps 2025, et l’entraînement ne renvoie aucun visiteur. Les éditeurs qui vendent leurs textes ou en concèdent des licences ont de bonnes raisons de refuser.

L’argument en faveur de l’autorisation n’est pas démontré : un modèle qui a appris des choses sur votre entreprise pourrait la décrire correctement sans faire de recherche. Aucune entreprise d’IA ne documente cet effet : considérez-le comme un pari.

Deux pièges guettent les sites qui bloquent. Google-Extended contrôle aussi l’ancrage dans l’application Gemini : le bloquer peut donc vous coûter des réponses dans l’application Gemini. Et quand les robots de consultation en direct respectent un blocage, les assistants ne peuvent plus ouvrir votre page lorsque quelqu’un les interroge sur vous en vous nommant. Cloudflare a indiqué en septembre 2026 que moins de 1 % des sites de son réseau bloquent les robots de recherche, tandis que 17 % restreignent l’entraînement de l’IA.

Exemples de robots.txt pour les robots d’IA

Le robots.txt est un simple fichier texte placé à la racine d’un domaine, par exemple yoursite.com/robots.txt, et chaque sous-domaine a besoin du sien. Une règle piège souvent : un robot ne suit que le groupe qui le nomme le plus précisément et ignore le groupe User-agent: *, comme l’explique la documentation de Google sur le robots.txt. Si vous nommez un robot, répétez les lignes Disallow qu’il doit continuer de respecter.

Autoriser tous les robots d’IA

Le robots.txt de QuQi autorise tout. Après User-agent: * et Allow: /, il nomme onze jetons IA dans un même groupe, en répétant ses deux chemins privés :

• User-agent: GPTBot
• User-agent: OAI-SearchBot
• User-agent: ChatGPT-User
• User-agent: ClaudeBot
• User-agent: Claude-SearchBot
• User-agent: Claude-User
• User-agent: PerplexityBot
• User-agent: Perplexity-User
• User-agent: Google-Extended
• User-agent: Applebot-Extended
• User-agent: CCBot
• Allow: /
• Disallow: /admin
• Disallow: /api/

Bloquer l’entraînement de l’IA, rester dans la recherche IA

Ajoutez un groupe qui n’interdit que les jetons d’entraînement, et ne touchez à rien d’autre :

• User-agent: GPTBot
• User-agent: ClaudeBot
• User-agent: Google-Extended
• User-agent: Applebot-Extended
• User-agent: meta-externalagent
• User-agent: MistralAI-Training
• User-agent: CCBot
• Disallow: /

Pour Amazonbot, c’est à vous de juger : Amazon indique qu’il peut entraîner les modèles d’IA d’Amazon mais sert aussi d’autres fonctionnalités d’Amazon, tandis qu’Amzn-SearchBot s’occupe de la recherche. Bing n’a pas de jeton d’entraînement dans le robots.txt. Son réglage est la balise de page noarchive, qui depuis 2023 exclut une page des réponses du chat de Bing, devenu Copilot, et de l’entraînement des modèles de Microsoft. Cloudflare a indiqué qu’une option robots.txt de Microsoft est prévue pour début 2027.

Bloquer tous les robots d’IA

Placez tous les jetons du tableau, sauf Googlebot, Bingbot et Applebot, dans un même groupe qui se termine par Disallow: /. Trois choses restent malgré tout ouvertes :

• Les fonctionnalités d’IA de Google, de Bing et d’Apple, qui utilisent leurs robots de recherche. Elles obéissent au réglage de Search Console, à nosnippet et à noarchive, pas au robots.txt.
• Les robots de consultation en direct qui peuvent ignorer le robots.txt. Seule une règle de pare-feu ou de CDN les arrête.
• Tout ce qui a été collecté avant la mise en place de la règle.

Cloudflare bloque-t-il les robots d’IA par défaut ?

Cloudflare bloque certains robots d’IA par défaut sur les nouveaux sites. Depuis le 15 septembre 2026, les nouveaux domaines reçoivent un réglage par défaut qui bloque les robots d’entraînement IA et les robots d’agents IA sur les pages qui affichent des publicités, tandis que les robots de recherche restent autorisés. Aux sites sans publicité, Cloudflare propose un préréglage qui autorise les trois.

• 1er juillet 2025 : Cloudflare commence à bloquer par défaut les robots d’entraînement IA sur les nouveaux domaines.
• 1er juillet 2026 : le trafic IA est divisé en trois catégories, Search (recherche), Agent et Training (entraînement), que chaque client règle séparément, offre gratuite comprise.
• 15 septembre 2026 : les réglages par défaut qui tiennent compte des publicités entrent en vigueur et Disallow AI Training est lancé. L’ancien interrupteur Block AI bots laisse la place aux trois réglages, et le robots.txt géré (managed robots.txt) à Bot Preference Sync, annoncé en août.

Le piège, c’est de choisir Block pour Training. Googlebot, Bingbot et Applebot explorent à la fois pour la recherche et pour l’entraînement, et Cloudflare applique la règle la plus stricte : ce choix les bloque donc et peut faire disparaître un site de Google. Disallow AI Training évite ce problème en publiant dans le robots.txt une préférence de non-entraînement, Google-Extended et Applebot-Extended compris, tandis que l’exploration pour la recherche reste ouverte. Bot Preference Sync écrit ces lignes au-dessus de vos propres règles : vérifiez donc votre robots.txt en ligne.

Comment QuQi vous aide

Laisser entrer les robots de recherche rend un site éligible, pas cité. Le coéquipier Visibilité IA de QuQi vérifie chaque semaine si l’AI Overview de Google, ChatGPT, Perplexity et Gemini citent votre entreprise pour les questions que posent vos acheteurs, note qui est cité à votre place et transforme chaque écart en brief pour le Rédacteur. L’Auditeur SEO audite le site et place en tête ce qui coûte le plus de trafic. Chaque session se déroule dans une conversation que vous pouvez ouvrir et rejoindre. Voir les tarifs.

Questions fréquentes