Welche KI-Crawler solltest du zulassen?

Was ist ein KI-Crawler?

Ein KI-Crawler ist ein Bot, der Webseiten für ein KI-System abruft. Er funktioniert wie ein Suchmaschinen-Crawler und meldet sich mit einem eigenen User-Agent. Entscheidend ist, wofür der Betreiber die Inhalte nutzt. Davon hängt ab, was eine Sperre in der robots.txt bewirkt.

Bei Abrufen gilt die robots.txt nur eingeschränkt. OpenAI schreibt, dass für ChatGPT-User die Regeln der robots.txt unter Umständen nicht gelten, weil ein Mensch den Abruf auslöst. Perplexity und Meta sagen das Gleiche für ihre Abruf-Bots. Anthropic beschreibt Claude-User dagegen als steuerbar.

Die wichtigsten KI-Crawler im Überblick

Für das Training crawlen vor allem GPTBot von OpenAI, ClaudeBot von Anthropic, meta-externalagent von Meta, Amazonbot, Bytespider und CCBot von Common Crawl. Für KI-Suchen sind OAI-SearchBot, Claude-SearchBot, PerplexityBot und DuckAssistBot unterwegs. Auf Nutzerwunsch rufen ChatGPT-User, Claude-User, Perplexity-User und meta-externalfetcher einzelne Seiten ab. Googlebot, Bingbot und Applebot versorgen die Suchmaschinen und deren KI-Antworten. Sie rendern JavaScript, die meisten anderen KI-Crawler nicht.

Alle 39 Bots und Tokens mit Zweck, JavaScript-Fähigkeit, Verhalten bei der robots.txt, Traffic und Quellen stehen in der filterbaren Übersicht KI-Crawler und JavaScript-Rendering. Weitere Tokens und die IP-Listen der Betreiber stehen in der Liste der KI-Bots.

Google-Extended und Applebot-Extended sind keine eigenen Crawler. Sie regeln nur, wofür Google und Apple die Daten von Googlebot und Applebot nutzen.

Google-Extended und die KI-Übersichten

Google-Extended ist ein Token ohne eigenen Crawler. Es regelt, ob Google Inhalte für das Training künftiger Gemini-Modelle und für das Grounding in den Gemini-Apps und auf Vertex AI nutzt. Laut Google beeinflusst es weder die Aufnahme in die Google-Suche noch das Ranking. Für AI Overviews und AI Mode gilt der Googlebot. Willst du begrenzen, was dort von deinen Seiten erscheint, nutzt du nosnippet, data-nosnippet, max-snippet oder noindex.

KI-Crawler sperren oder zulassen

Viele Websites möchten in KI-Antworten genannt werden, ihre Inhalte aber nicht fürs Training abgeben. Das geht, weil die großen Anbieter Training und Suche über getrennte Tokens steuern. So sieht eine robots.txt aus, die das Training ausschließt und die KI-Suchen erlaubt.

Mehrere User-agent-Zeilen über einer Regel sind laut RFC 9309 erlaubt. Jeder Bot folgt nur der Gruppe mit seinem Token. Die Regeln unter User-agent * gelten für ihn dann nicht mehr. Deshalb steht das Disallow für /checkout/ auch in der Gruppe der KI-Suchen. GPTBot und die anderen Trainings-Bots sind ohnehin komplett gesperrt. Die Abruf-Bots fehlen im Beispiel, weil sich außer Claude-User keiner verlässlich an die Datei hält.

Bis eine Änderung wirkt

Crawler dürfen die robots.txt laut RFC 9309 höchstens 24 Stunden lang aus dem Zwischenspeicher nutzen. OpenAI, Perplexity und Meta nennen dieselbe Frist. Eine Sperre per IP-Adresse ersetzt die robots.txt nicht. Anthropic weist darauf hin, dass seine Bots die robots.txt dann gar nicht erst lesen können.

Rendern KI-Crawler JavaScript?

Die meisten nicht. Vercel hat für eine Auswertung vom Dezember 2024 die Zugriffe der KI-Crawler im eigenen Netzwerk über mehrere Monate verfolgt. GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, meta-externalagent, Bytespider, PerplexityBot und CCBot führten kein JavaScript aus. GPTBot und ClaudeBot laden zwar JavaScript-Dateien (bei GPTBot 11,5 % der Anfragen, bei ClaudeBot 23,8 %), führen sie aber nicht aus.

Googlebot, Bingbot und Applebot rendern Seiten. Google nutzt dafür eine aktuelle Chromium-Version, Bing seit 2019 Microsoft Edge. Apple schreibt, dass Applebot Inhalte im Browser rendern kann. Gemini greift laut Vercel auf die Infrastruktur des Googlebot zurück. Bei Yandex legt der Website-Betreiber in Yandex Webmaster fest, ob der Bot JavaScript ausführt. Für Claude-SearchBot, Claude-User, DuckAssistBot, YouBot und die meisten Abruf-Bots gibt es keine Angabe der Betreiber, und Vercel hat sie nicht gemessen.

Wie jeder einzelne Bot mit JavaScript umgeht, zeigt der Ratgeber KI-Crawler und JavaScript-Rendering.

In unserem Test vom Oktober 2025 kannte Perplexity nach der Indexierung einen Preis, den nur JavaScript einfügte. Mit einer Seite ist das kein Beleg. Mehr dazu steht im Ratgeber Schema Markup und KI.

Für Shops und Single-Page-Apps heißt das, dass Produktnamen, Preise und Texte im ausgelieferten HTML stehen müssen. Inhalte, die erst ein Skript nachlädt, fehlen den meisten KI-Systemen. Serverseitiges Rendering oder Vorrendern der wichtigen Seiten löst das. Die Messung von Vercel stammt von 2024. Prüfe deshalb mit deinen eigenen Logfiles, welche Bots heute Skripte und API-Endpunkte abrufen.

Wie viel Traffic KI-Crawler verursachen

Im Netz von Cloudflare kam Googlebot im Juli 2025 auf 39 % des Traffics aller KI- und Such-Crawler. Danach folgten GPTBot mit 11,7 %, ClaudeBot mit 9,9 %, Bingbot mit 9,3 % und meta-externalagent mit 7,5 %. Bytespider fiel gegenüber Juli 2024 von 14,1 % auf 2,4 %. In der Jahresbilanz 2025 von Cloudflare (1. Januar bis 2. Dezember) machten KI-Crawler 20 % des Traffics verifizierter Bots aus, Such-Crawler 40 %. Googlebot allein kam auf mehr als 28 %, GPTBot auf 7,5 %.

Bot-Schutz und CDN

Auch wenn die robots.txt einen Bot erlaubt, kann ihn die Firewall oder der Bot-Schutz des CDN aussperren. Cloudflare hat im Juli 2025 angekündigt, KI-Crawler standardmäßig zu blockieren, solange sie nicht für Inhalte bezahlen. Ab dem 15. September 2026 gelten für neue Domains neue Standards. KI-Suchen sind erlaubt, Training und Agenten sind auf Seiten mit Werbung gesperrt. Crawler, die mehrere Zwecke erfüllen, wie Googlebot, Applebot oder Bingbot, fallen dabei unter die strengste Regel. Sperrst du dort das Training, sperrst du sie mit.

1. Lies die Bot- und KI-Einstellungen deines CDN und deiner Firewall aus, auch die Standards, die ohne dein Zutun gelten.
2. Vergleiche sie mit deiner robots.txt. Beide sollten dasselbe wollen.
3. Prüfe in den Logfiles, ob die Bots, die du zulassen willst, Status 200 bekommen und keine Challenge-Seite.
4. Bei Regeln gegen Bots lohnt der Blick, ob sie echte Besucher treffen, etwa über VPN. Eine abgestufte Reaktion mit Drosselung blockiert weniger Falsche als eine harte Sperre.

Wie du Bot-Schutz so einstellst, dass er Angreifer bremst und Googlebot, KI-Bots und Kunden durchlässt, steht im Ratgeber Bot-Schutz und SEO.

Echte Bots von gefälschten unterscheiden

Den User-Agent kann jeder setzen. OpenAI, Anthropic, Perplexity, Apple und Common Crawl veröffentlichen deshalb ihre IP-Bereiche als JSON-Liste. Apple und Common Crawl unterstützen zusätzlich die Prüfung per Reverse DNS. Eine Anfrage mit dem User-Agent GPTBot von einer IP außerhalb der Liste von OpenAI stammt nicht von OpenAI.

Häufige Fehler

• Eine Sperre für alle Bots von OpenAI, obwohl nur das Training ausgeschlossen werden sollte. Damit fehlt die Website auch in der Suche von ChatGPT.
• Google-Extended sperren, um aus den AI Overviews herauszukommen. Dafür ist der Googlebot zuständig.
• Neue Bots übersehen. Anthropic hat zum Beispiel neben ClaudeBot inzwischen Claude-SearchBot und Claude-User.
• Die robots.txt erlaubt alles, aber das CDN blockiert trotzdem.
• Wichtige Inhalte erst per JavaScript laden.

Häufige Fragen