Lista de crawlers de IA em 2026: quais permitir

Os crawlers de IA, ou rastreadores, que um site recebe em 2026 são de três tipos: rastreadores de treino, como o GPTBot, o ClaudeBot e o CCBot; rastreadores de pesquisa, como o OAI-SearchBot, o Claude-SearchBot e o PerplexityBot; e agentes de acesso em tempo real, como o ChatGPT-User, que abrem uma página enquanto alguém conversa. Uma empresa que quer ser citada nas respostas de IA deve permitir os rastreadores de pesquisa e os agentes em tempo real, e decidir à parte sobre o treino. O Google-Extended e o Applebot-Extended nem sequer são rastreadores: são tokens do robots.txt que controlam como a Google e a Apple podem usar as suas páginas para IA.

Em baixo: a lista, as linhas de robots.txt para cada política e as alterações da Cloudflare em 2026. Para saber como a pesquisa com IA escolhe as fontes, leia como aparecer no ChatGPT e na pesquisa com IA.

Lista de crawlers de IA em 2026, com os tokens do robots.txt

A lista de crawlers de IA abaixo abrange os bots de IA que as grandes empresas documentam em outubro de 2026, retirados das páginas sobre rastreadores da OpenAI, da Anthropic, do Perplexity, da Google, da Apple e das restantes empresas indicadas. O token é o nome que vem a seguir a User-agent: no robots.txt. A última coluna indica o que cada empresa diz, não o que alguém mediu.

Falta a ByteDance, dona do TikTok: não publica nenhuma documentação sobre rastreadores que tenhamos conseguido encontrar. Em outubro de 2024, a Fortune noticiou uma investigação da Kasada, uma empresa de gestão de bots, que concluiu que o rastreador da ByteDance, o Bytespider, ignorava o robots.txt.

Rastreadores de treino, rastreadores de pesquisa e agentes em tempo real: qual é a diferença?

Os rastreadores de IA distinguem-se pelo que acontece à sua página depois da visita. Um rastreador de treino recolhe páginas que podem acabar dentro de um futuro modelo de IA. Um rastreador de pesquisa constrói o índice que um assistente pesquisa quando responde, e é assim que uma página é citada com um link. Um agente de acesso em tempo real abre uma página porque uma pessoa a pediu, naquele momento.

Cada tipo tem o seu próprio interruptor. A OpenAI diz que “cada definição é independente das outras”, por isso um site pode bloquear o GPTBot e continuar a aparecer na pesquisa do ChatGPT. A Anthropic, o Perplexity, a Meta, a Amazon e a Mistral separam os seus bots da mesma forma.

Os agentes em tempo real são o grupo complicado: a OpenAI, o Perplexity, a Google, a Meta e a Amazon dizem que os seus podem não seguir o robots.txt, porque foi uma pessoa a iniciar o pedido. A Anthropic diz que o Claude-User o segue.

O que o Google-Extended e o Applebot-Extended bloqueiam realmente

O Google-Extended é um token do robots.txt, não um rastreador. A Google diz que ele “não tem uma string de user agent própria nos pedidos HTTP”: é o Googlebot que rastreia, e o token só diz à Google como pode usar o que o Googlebot obteve.

Bloquear o Google-Extended deixa as suas páginas fora do treino dos futuros modelos Gemini e fora da fundamentação (grounding), as consultas em tempo real por trás das respostas na app Gemini e na Vertex AI, a plataforma de IA na nuvem da Google. A Google diz que não afeta a inclusão na Pesquisa e que não é um sinal de classificação.

O Google-Extended também não o deixa fora das AI Overviews nem do AI Mode, que se baseiam no índice da Pesquisa. Esses têm os seus próprios controlos: a etiqueta nosnippet e uma definição de IA generativa no Search Console que, segundo a Google, chegou a todos os sites a 31 de agosto de 2026. Veja o nosso guia sobre como aparecer nas AI Overviews da Google.

O Applebot-Extended funciona da mesma forma para a Apple. A Apple diz que ele “não rastreia páginas web” e apenas decide se as páginas recolhidas pelo Applebot podem treinar os modelos de base (foundation models) da Apple. As páginas que o bloqueiam podem continuar a aparecer na pesquisa da Siri, do Spotlight e do Safari, e a regra não é usada na classificação. Bloquear o próprio Applebot é diferente: isso trava o rastreio por trás das funcionalidades de pesquisa da Apple.

Os rastreadores de IA respeitam o robots.txt?

A maioria dos rastreadores de IA das grandes empresas diz respeitar o robots.txt, mas o robots.txt é um pedido, não uma fechadura. Nada de técnico trava um rastreador que o ignore, e qualquer scraper pode usar um nome conhecido. Trate a última coluna da tabela como a política declarada e depois verifique os registos do seu servidor, comparando o endereço IP de cada visita com a lista publicada pela empresa.

Essas políticas já foram postas à prova em público. Em agosto de 2025, a Cloudflare acusou o Perplexity de usar rastreadores não declarados, que se faziam passar por um navegador Chrome, para chegar a sites que o tinham bloqueado, e retirou o Perplexity da sua lista de bots verificados. O Perplexity considerou a análise errada e disse que a Cloudflare tinha confundido acessos pedidos por utilizadores com rastreio. No mesmo artigo, a Cloudflare apontou a OpenAI como exemplo de boa prática: o ChatGPT-User parou quando foi bloqueado.

O robots.txt também só funciona daí para a frente: a Anthropic diz que bloquear o ClaudeBot exclui do treino os “materiais futuros” de um site.

Deve bloquear os rastreadores de IA?

A maioria dos sites de empresas não deve bloquear os rastreadores de pesquisa de IA, porque isso os retira de respostas que podiam trazer clientes. Bloquear os rastreadores de treino é uma decisão separada e menor. A OpenAI e a Apple dizem que isso deixa as páginas fora dos modelos futuros sem as esconder da pesquisa, e a Anthropic tem um bot separado para cada tarefa.

O argumento a favor de bloquear o treino tem a ver com valor. A Cloudflare indicou que 52% dos pedidos de rastreadores que viu em junho de 2026 eram para treino de IA, contra 22% na primavera de 2025, e o treino não envia visitantes de volta. Os editores que vendem ou licenciam o que escrevem têm boas razões para dizer que não.

O argumento a favor de o permitir não está provado: um modelo que aprendeu sobre a sua empresa pode descrevê-la corretamente sem pesquisar. Nenhuma empresa de IA documenta esse efeito, por isso trate-o como uma aposta.

Há duas armadilhas para quem bloqueia. O Google-Extended também controla a fundamentação na app Gemini, por isso bloqueá-lo pode custar-lhe respostas na app Gemini. E, quando os agentes em tempo real respeitam um bloqueio, os assistentes deixam de conseguir abrir a sua página quando alguém pergunta pela sua empresa pelo nome. A Cloudflare disse em setembro de 2026 que menos de 1% dos sites da sua rede bloqueia os rastreadores de pesquisa, enquanto 17% restringem o treino de IA.

Exemplos de robots.txt para rastreadores de IA

O robots.txt é um ficheiro de texto simples na raiz de um domínio, como yoursite.com/robots.txt, e cada subdomínio precisa do seu. Há uma regra que apanha muita gente: um rastreador segue apenas o grupo que o nomeia de forma mais específica e ignora o grupo User-agent: *, como explica a documentação da Google sobre o robots.txt. Se nomear um bot, repita as linhas Disallow que ele deve continuar a respeitar.

Permitir todos os rastreadores de IA

O próprio robots.txt do QuQi permite tudo. Depois de User-agent: * e Allow: /, nomeia onze tokens de IA num só grupo, repetindo os seus dois caminhos privados:

• User-agent: GPTBot
• User-agent: OAI-SearchBot
• User-agent: ChatGPT-User
• User-agent: ClaudeBot
• User-agent: Claude-SearchBot
• User-agent: Claude-User
• User-agent: PerplexityBot
• User-agent: Perplexity-User
• User-agent: Google-Extended
• User-agent: Applebot-Extended
• User-agent: CCBot
• Allow: /
• Disallow: /admin
• Disallow: /api/

Bloquear o treino de IA e continuar na pesquisa com IA

Acrescente um grupo que bloqueia apenas os tokens de treino e deixe tudo o resto como está:

• User-agent: GPTBot
• User-agent: ClaudeBot
• User-agent: Google-Extended
• User-agent: Applebot-Extended
• User-agent: meta-externalagent
• User-agent: MistralAI-Training
• User-agent: CCBot
• Disallow: /

O Amazonbot é uma questão de critério: a Amazon diz que pode treinar os modelos de IA da Amazon, mas também serve outras funcionalidades da Amazon, enquanto o Amzn-SearchBot trata da pesquisa. O Bing não tem um token de treino no robots.txt. O seu controlo é a etiqueta de página noarchive, que desde 2023 deixa uma página fora das respostas do chat do Bing, hoje o Copilot, e fora do treino dos modelos da Microsoft. A Cloudflare indicou que a Microsoft prevê uma opção no robots.txt para o início de 2027.

Bloquear todos os rastreadores de IA

Ponha todos os tokens da tabela, exceto o Googlebot, o Bingbot e o Applebot, num só grupo que termine em Disallow: /. Isso ainda deixa três coisas em aberto:

• As funcionalidades de IA da Google, do Bing e da Apple, que usam os seus rastreadores de pesquisa. Essas obedecem à definição do Search Console, ao nosnippet e ao noarchive, não ao robots.txt.
• Os agentes em tempo real que podem ignorar o robots.txt. Só uma regra de firewall ou de CDN os trava.
• Tudo o que foi recolhido antes de a regra entrar em vigor.

A Cloudflare bloqueia os rastreadores de IA por predefinição?

A Cloudflare bloqueia alguns rastreadores de IA por predefinição nos sites novos. Desde 15 de setembro de 2026, os domínios novos recebem uma predefinição que bloqueia os bots de treino de IA e de agentes de IA nas páginas que mostram anúncios, enquanto os rastreadores de pesquisa continuam permitidos. Aos sites sem anúncios é proposta uma predefinição que permite os três.

• 1 de julho de 2025: a Cloudflare começou a bloquear por predefinição os rastreadores de treino de IA nos domínios novos.
• 1 de julho de 2026: o tráfego de IA passou a dividir-se em Search, Agent e Training (pesquisa, agente e treino), cada um definido à parte por cada cliente, incluindo no plano gratuito.
• 15 de setembro de 2026: entraram em vigor as predefinições que têm em conta os anúncios e foi lançado o Disallow AI Training. O antigo interruptor Block AI bots deu lugar aos três controlos, e o managed robots.txt deu lugar ao Bot Preference Sync, anunciado em agosto.

A armadilha é escolher Block para o Training. O Googlebot, o Bingbot e o Applebot rastreiam tanto para a pesquisa como para o treino, e a Cloudflare aplica a regra mais restritiva, por isso essa escolha bloqueia-os e pode tirar um site dos resultados da Google. O Disallow AI Training evita isso ao publicar no robots.txt uma preferência contra o treino, incluindo o Google-Extended e o Applebot-Extended, enquanto o rastreio para pesquisa continua aberto. O Bot Preference Sync escreve essas linhas acima das suas próprias regras, por isso verifique o seu robots.txt publicado.

Como o QuQi ajuda

Deixar entrar os rastreadores de pesquisa torna um site elegível, não mencionado. O colega Visibilidade em IA do QuQi verifica todas as semanas se a AI Overview da Google, o ChatGPT, o Perplexity e o Gemini mencionam a sua empresa nas perguntas que os seus compradores fazem, regista quem é mencionado em vez de si e transforma cada lacuna num briefing para o Redator. O Auditor de SEO audita o site e põe à frente o que custa mais tráfego. Cada sessão decorre num chat que pode abrir e no qual pode intervir. Veja os preços.

Perguntas frequentes