KI-Crawler-Liste 2026: Welche Sie zulassen sollten

Die KI-Crawler, die eine Website 2026 zu sehen bekommt, gibt es in drei Arten: Trainings-Crawler wie GPTBot, ClaudeBot und CCBot, Such-Crawler wie OAI-SearchBot, Claude-SearchBot und PerplexityBot, und Live-Abrufer wie ChatGPT-User, die eine Seite öffnen, während jemand chattet. Ein Unternehmen, das in KI-Antworten zitiert werden will, sollte die Such-Crawler und Live-Abrufer zulassen und über das Training getrennt entscheiden. Google-Extended und Applebot-Extended sind gar keine Crawler: Es sind robots.txt-Tokens, die steuern, wie Google und Apple Ihre Seiten für KI nutzen dürfen.

Im Folgenden finden Sie die Liste, die robots.txt-Zeilen für jede Strategie und die Änderungen bei Cloudflare im Jahr 2026. Wie die KI-Suche ihre Quellen auswählt, lesen Sie in unserem Leitfaden, wie Sie in ChatGPT und der KI-Suche ranken.

Liste der KI-Crawler 2026, mit robots.txt-Tokens

Die folgende Liste der KI-Crawler umfasst die KI-Bots, die die großen Unternehmen mit Stand Oktober 2026 dokumentieren, entnommen den Crawler-Seiten von OpenAI, Anthropic, Perplexity, Google, Apple und den anderen genannten Unternehmen. Das Token ist der Name, der in der robots.txt hinter User-agent: steht. Die letzte Spalte gibt wieder, was das jeweilige Unternehmen sagt, nicht, was jemand gemessen hat.

ByteDance, der Eigentümer von TikTok, fehlt: Das Unternehmen veröffentlicht keine Crawler-Dokumentation, die wir finden konnten. Im Oktober 2024 berichtete Fortune über eine Untersuchung des Bot-Management-Anbieters Kasada, nach der sein Crawler Bytespider die robots.txt ignorierte.

Trainings-Crawler, Such-Crawler und Live-Abrufer: Was ist der Unterschied?

KI-Crawler unterscheiden sich darin, was nach dem Besuch mit Ihrer Seite passiert. Ein Trainings-Crawler sammelt Seiten, die in einem künftigen KI-Modell landen können. Ein Such-Crawler baut den Index auf, den ein Assistent durchsucht, wenn er antwortet. So wird eine Seite mit Link zitiert. Ein Live-Abrufer öffnet eine einzelne Seite, weil jemand genau jetzt danach gefragt hat.

Jede Art hat ihren eigenen Schalter. OpenAI sagt, „jede Einstellung ist unabhängig von den anderen“. Eine Website kann GPTBot also sperren und trotzdem in der ChatGPT-Suche erscheinen. Anthropic, Perplexity, Meta, Amazon und Mistral teilen ihre Bots auf dieselbe Weise auf.

Die Live-Abrufer sind die schwierige Gruppe: OpenAI, Perplexity, Google, Meta und Amazon sagen, dass ihre Abrufer die robots.txt eventuell nicht befolgen, weil eine Person die Anfrage gestartet hat. Laut Anthropic befolgt Claude-User sie.

Was Google-Extended und Applebot-Extended wirklich blockieren

Google-Extended ist ein robots.txt-Token, kein Crawler. Laut Google hat es „keinen eigenen User-Agent-String für HTTP-Anfragen“: Das Crawlen übernimmt der Googlebot, und das Token sagt Google nur, wie es nutzen darf, was der Googlebot abgerufen hat.

Wer Google-Extended sperrt, hält seine Seiten aus dem Training künftiger Gemini-Modelle heraus und aus dem Grounding, also den Live-Abfragen hinter den Antworten in der Gemini-App und in Vertex AI, der KI-Cloud-Plattform von Google. Laut Google hat das keinen Einfluss auf die Aufnahme in die Suche und ist kein Rankingsignal.

Google-Extended hält Sie auch nicht aus den AI Overviews oder dem KI-Modus heraus, denn die greifen auf den Suchindex zurück. Dafür gibt es eigene Steuerungen: das Tag nosnippet und eine Einstellung für generative KI in der Search Console, die laut Google am 31. August 2026 für alle Websites verfügbar war. Siehe unseren Leitfaden, wie Sie in Googles AI Overviews erscheinen.

Applebot-Extended funktioniert für Apple genauso. Laut Apple „crawlt es keine Webseiten“ und entscheidet nur, ob von Applebot gesammelte Seiten die Foundation Models von Apple trainieren dürfen. Seiten, die es sperren, können weiter in der Suche von Siri, Spotlight und Safari erscheinen, und die Regel wird nicht für das Ranking genutzt. Den Applebot selbst zu blockieren ist etwas anderes: Das stoppt das Crawlen hinter den Suchfunktionen von Apple.

Halten sich KI-Crawler an die robots.txt?

Die meisten KI-Crawler der großen Unternehmen halten sich nach eigener Aussage an die robots.txt, aber die robots.txt ist eine Bitte, kein Schloss. Technisch hindert nichts einen Crawler daran, sie zu ignorieren, und jeder Scraper kann sich einen bekannten Namen leihen. Sehen Sie die letzte Spalte der Tabelle als erklärte Richtlinie und prüfen Sie dann Ihre Server-Logs, indem Sie die IP-Adresse jedes Besuchs mit der veröffentlichten Liste des Unternehmens abgleichen.

Diese Richtlinien wurden schon öffentlich auf die Probe gestellt. Im August 2025 warf Cloudflare Perplexity vor, nicht deklarierte Crawler zu nutzen, die sich als Chrome-Browser ausgaben, um Websites zu erreichen, die Perplexity blockiert hatten, und nahm Perplexity aus seiner Liste verifizierter Bots. Perplexity nannte die Analyse fehlerhaft: Cloudflare habe von Nutzern angeforderte Abrufe mit Crawling verwechselt. Im selben Beitrag nannte Cloudflare OpenAI als Beispiel für gute Praxis: ChatGPT-User hörte auf, als er gesperrt wurde.

Die robots.txt wirkt außerdem nur nach vorn: Laut Anthropic schließt eine Sperre für ClaudeBot die „künftigen Materialien“ einer Website vom Training aus.

Sollten Sie KI-Crawler blockieren?

Die meisten Unternehmenswebsites sollten KI-Such-Crawler nicht blockieren, denn damit verschwinden sie aus Antworten, die ihnen Kunden bringen könnten. Trainings-Crawler zu blockieren ist eine getrennte, kleinere Entscheidung. Laut OpenAI und Apple hält es Seiten aus künftigen Modellen heraus, ohne sie in der Suche zu verstecken, und Anthropic betreibt für jede Aufgabe einen eigenen Bot.

Für eine Sperre des Trainings spricht der Wert Ihrer Inhalte. Cloudflare berichtete, dass im Juni 2026 52 % der Crawler-Anfragen, die es sah, dem KI-Training dienten, nach 22 % im Frühjahr 2025, und Training schickt keine Besucher zurück. Verlage, die ihre Texte verkaufen oder lizenzieren, haben gute Gründe, Nein zu sagen.

Für das Zulassen spricht etwas, das nicht belegt ist: Ein Modell, das etwas über Ihr Unternehmen gelernt hat, beschreibt es vielleicht auch ohne Suche korrekt. Kein KI-Unternehmen dokumentiert diesen Effekt, sehen Sie es also als Wette.

Zwei Fallen erwischen Websites, die blockieren. Google-Extended steuert auch das Grounding in der Gemini-App, eine Sperre kann also Antworten in der Gemini-App kosten. Und wo Live-Abrufer eine Sperre befolgen, können Assistenten Ihre Seite nicht mehr öffnen, wenn jemand namentlich nach Ihnen fragt. Laut Cloudflare blockierten im September 2026 weniger als 1 % der Websites in seinem Netzwerk Such-Crawler, während 17 % das KI-Training einschränkten.

robots.txt-Beispiele für KI-Crawler

Die robots.txt ist eine einfache Textdatei im Stammverzeichnis einer Domain, etwa yoursite.com/robots.txt, und jede Subdomain braucht ihre eigene. Eine Regel bringt viele durcheinander: Ein Crawler befolgt nur die Gruppe, die ihn am genauesten benennt, und ignoriert die Gruppe User-agent: *, wie die robots.txt-Dokumentation von Google erklärt. Wenn Sie einen Bot namentlich nennen, wiederholen Sie alle Disallow-Zeilen, die er weiter befolgen soll.

Alle KI-Crawler zulassen

Die robots.txt von QuQi selbst lässt alle zu. Nach User-agent: * und Allow: / nennt sie elf KI-Tokens in einer Gruppe und wiederholt ihre zwei privaten Pfade:

• User-agent: GPTBot
• User-agent: OAI-SearchBot
• User-agent: ChatGPT-User
• User-agent: ClaudeBot
• User-agent: Claude-SearchBot
• User-agent: Claude-User
• User-agent: PerplexityBot
• User-agent: Perplexity-User
• User-agent: Google-Extended
• User-agent: Applebot-Extended
• User-agent: CCBot
• Allow: /
• Disallow: /admin
• Disallow: /api/

KI-Training blockieren, in der KI-Suche bleiben

Ergänzen Sie eine Gruppe, die nur die Trainings-Tokens sperrt, und lassen Sie alles andere, wie es ist:

• User-agent: GPTBot
• User-agent: ClaudeBot
• User-agent: Google-Extended
• User-agent: Applebot-Extended
• User-agent: meta-externalagent
• User-agent: MistralAI-Training
• User-agent: CCBot
• Disallow: /

Amazonbot ist eine Abwägungsfrage: Laut Amazon kann er die KI-Modelle von Amazon trainieren, bedient aber auch andere Amazon-Funktionen, während Amzn-SearchBot die Suche übernimmt. Bing hat kein robots.txt-Token für das Training. Die Steuerung dort ist das Seiten-Tag noarchive, das eine Seite seit 2023 aus den Chat-Antworten von Bing, heute Copilot, und aus dem Modelltraining von Microsoft heraushält. Laut Cloudflare ist eine robots.txt-Option von Microsoft für Anfang 2027 geplant.

Alle KI-Crawler blockieren

Setzen Sie alle Tokens aus der Tabelle außer Googlebot, Bingbot und Applebot in eine Gruppe, die mit Disallow: / endet. Drei Dinge bleiben dann trotzdem offen:

• Die KI-Funktionen von Google, Bing und Apple, die deren Such-Crawler nutzen. Für sie gelten die Einstellung in der Search Console, nosnippet und noarchive, nicht die robots.txt.
• Live-Abrufer, die die robots.txt eventuell ignorieren. Nur eine Firewall- oder CDN-Regel hält sie auf.
• Alles, was gesammelt wurde, bevor die Regel galt.

Blockiert Cloudflare KI-Crawler standardmäßig?

Cloudflare blockiert auf neuen Websites standardmäßig einige KI-Crawler. Seit dem 15. September 2026 bekommen neue Domains eine Voreinstellung, die Bots für KI-Training und KI-Agenten auf Seiten mit Anzeigen blockiert, während Such-Crawler zugelassen bleiben. Websites ohne Anzeigen wird eine Voreinstellung angeboten, die alle drei zulässt.

• 1. Juli 2025: Cloudflare begann, KI-Trainings-Crawler auf neuen Domains standardmäßig zu blockieren.
• 1. Juli 2026: Der KI-Traffic wurde in Search, Agent und Training aufgeteilt, was jeder Kunde getrennt einstellen kann, auch im kostenlosen Tarif.
• 15. September 2026: Die Voreinstellungen, die Anzeigen berücksichtigen, traten in Kraft, und Disallow AI Training startete. Der alte Schalter Block AI bots wich den drei Steuerungen, und die verwaltete robots.txt (managed robots.txt) dem im August angekündigten Bot Preference Sync.

Die Falle ist, bei Training die Option Block zu wählen. Googlebot, Bingbot und Applebot crawlen sowohl für die Suche als auch für das Training, und Cloudflare wendet die strengste Regel an. Diese Wahl blockiert sie also und kann eine Website aus Google entfernen. Disallow AI Training umgeht das, indem es in der robots.txt den Wunsch veröffentlicht, nicht für Training genutzt zu werden, Google-Extended und Applebot-Extended eingeschlossen, während das Crawlen für die Suche offen bleibt. Bot Preference Sync schreibt solche Zeilen über Ihre eigenen Regeln, prüfen Sie also Ihre live geschaltete robots.txt.

Wie QuQi hilft

Wer Such-Crawler hereinlässt, kommt infrage, wird aber noch nicht genannt. Das Teammitglied KI-Sichtbarkeit von QuQi prüft jede Woche, ob Googles AI Overview, ChatGPT, Perplexity und Gemini Ihr Unternehmen bei den Fragen Ihrer Käufer nennen, hält fest, wer stattdessen genannt wird, und macht aus jeder Lücke ein Briefing für den Texter. Der SEO-Prüfer prüft die Website und stellt an den Anfang, was am meisten Traffic kostet. Jeder Einsatz läuft in einem Chat, den Sie öffnen und in den Sie eingreifen können. Siehe Preise.

Häufige Fragen