Welche KI-Crawler rendern JavaScript?

Websites setzen immer stärker auf JavaScript. Im Browser fällt das nicht auf. Ein Crawler sieht aber nur dann denselben Inhalt, wenn er die Seite rendert, also die Skripte ausführt wie ein Browser. Bei Suchmaschinen ist das seit Jahren üblich, bei KI-Crawlern die Ausnahme.

Wir haben diese Übersicht im November 2025 zum ersten Mal veröffentlicht und für den Stand vom 03.11.2026 an den Dokus der Betreiber neu geprüft. Neu dazugekommen sind unter anderem Google-Agent, meta-webindexer, die Bots von Amazon für Suche und Abruf und die drei Crawler von Mistral.

KI-Crawler und JavaScript-Rendering im Überblick

Die Liste zeigt 39 Bots und Tokens, die in Logfiles und robots.txt-Dateien auftauchen. Du kannst sie nach JavaScript-Fähigkeit und nach Zweck filtern. Die Quellen zu jeder Zeile stehen in der letzten Spalte.

So liest du die Spalte JavaScript

Die Prozentwerte in der Spalte Traffic sind Anteile am Traffic aller KI- und Such-Crawler im Netz von Cloudflare im Juli 2025. Die Veränderungen vergleichen die Anfragen im Mai 2025 mit Mai 2024, ebenfalls laut Cloudflare. Die Anfragen pro Monat hat Vercel im eigenen Netzwerk gemessen und im Dezember 2024 veröffentlicht. Als veraltet markiert sind Tokens, die der Betreiber nicht mehr dokumentiert oder für die wir keine Doku gefunden haben. In alten robots.txt-Dateien und Logfiles stehen sie trotzdem noch.

Wie Training, Suche und Abruf zusammenhängen und wie eine robots.txt dafür aussieht, erklärt der Ratgeber KI-Crawler. Weitere Tokens und die IP-Listen der Betreiber stehen in der Liste der KI-Bots.

Warum ist JavaScript für KI-Crawler ein Problem?

Für 14 Einträge der Übersicht gibt es eine Angabe des Betreibers oder eine Messung. 8 davon führen kein JavaScript aus, darunter GPTBot, ClaudeBot und meta-externalagent. Zusammen kamen diese drei im Juli 2025 auf 29 % des Crawler-Traffics bei Cloudflare. Vercel hat für seine Auswertung vom Dezember 2024 die Zugriffe über mehrere Monate verfolgt. GPTBot lud in 11,5 % der Anfragen JavaScript-Dateien, ClaudeBot in 23,8 %. Ausgeführt hat keiner der beiden die Skripte.

Ein KI-Crawler ohne Rendering kennt nur den Inhalt, der im ausgelieferten HTML steht. Lädt ein Shop Produktlisten, Preise oder Bewertungen erst im Browser, bekommt GPTBot eine fast leere Seite. Das betrifft die Trainingsdaten künftiger Modelle und die KI-Suchen gleichermaßen. OAI-SearchBot und PerplexityBot liefern die Quellen für ChatGPT und Perplexity, und auch sie rendern laut Vercel kein JavaScript.

Vercel hat noch etwas gemessen. Bei ChatGPT landeten 34,8 % der Abrufe auf 404-Seiten, bei Claude 34,2 %, beim Googlebot 8,2 %. Saubere Weiterleitungen und aktuelle Sitemaps helfen also auch den KI-Crawlern.

Wie haben sich KI-Crawler entwickelt?

Die Zeitleiste zeigt die wichtigsten Schritte seit dem Start von GPTBot. Die Angaben stammen aus Ankündigungen der Betreiber und aus Messungen von Vercel und Cloudflare.

Die wichtigsten KI-Crawler im Detail

GPTBot

GPTBot sammelt Inhalte für das Training der OpenAI-Modelle. Vercel zählte im Dezember 2024 rund 569 Mio. Anfragen im Monat. Bei Cloudflare lag der Anteil im Juli 2025 bei 11,7 % aller KI- und Such-Crawler. GPTBot lädt JavaScript-Dateien, führt sie aber nicht aus. Für die Suche in ChatGPT ist OAI-SearchBot zuständig, der ebenfalls nicht rendert.

ClaudeBot

ClaudeBot sammelt Trainingsdaten für Claude. Laut Vercel waren 23,8 % seiner Anfragen JavaScript-Dateien. Ausgeführt hat er sie nicht. Vercel zählte rund 370 Mio. Anfragen im Monat und Cloudflare im Juli 2025 einen Anteil von 9,9 %. Für die Suche und für Abrufe auf Nutzerwunsch hat Anthropic inzwischen Claude-SearchBot und Claude-User.

Googlebot

Googlebot rendert Seiten mit einer aktuellen Chromium-Version. Er versorgt die Google-Suche und damit auch AI Overviews und AI Mode. Mit 39 % hatte er im Juli 2025 den größten Anteil am Crawler-Traffic bei Cloudflare. Gemini nutzt laut Vercel dieselbe Infrastruktur und sieht deshalb auch Inhalte, die per JavaScript entstehen.

meta-externalagent

meta-externalagent crawlt für das Training der KI-Modelle von Meta und für Meta-Produkte. Im Mai 2025 kam er laut Cloudflare auf 19 % des reinen KI-Crawler-Traffics und im Juli 2025 auf 7,5 % aller KI- und Such-Crawler. Vercel hat keine Ausführung von JavaScript gemessen. Für die Suche in Meta AI gibt es inzwischen meta-webindexer, für Abrufe auf Nutzerwunsch meta-externalfetcher.

Bingbot

Bingbot rendert seit Oktober 2019 mit Microsoft Edge und hält sich an Crawl-delay. Im Juli 2025 kam er bei Cloudflare auf 9,3 % des Crawler-Traffics. Aus dem Bing-Index schöpfen auch Bings KI-Antworten.

PerplexityBot

PerplexityBot baut den Suchindex von Perplexity auf und wird laut Perplexity nicht fürs Training genutzt. Zwischen Mai 2024 und Mai 2025 stiegen seine Anfragen bei Cloudflare um 157.490 %, von einem sehr kleinen Ausgangswert. JavaScript führt er laut Vercel nicht aus. Abrufe auf Nutzerwunsch laufen über Perplexity-User, der sich in der Regel nicht an die robots.txt hält.

So prüfst du, was KI-Crawler sehen

Am schnellsten erkennst du es im Vergleich von ausgeliefertem HTML und gerenderter Seite. Steht ein Inhalt nur in der gerenderten Seite, fehlt er den meisten KI-Crawlern.

1. Öffne den Quelltext der Seite (view-source) oder rufe sie mit abgeschaltetem JavaScript auf. Fehlen Produktnamen, Preise oder Texte, lädt sie ein Skript nach.
2. Vergleiche Quelltext und DOM mit dem kostenlosen JavaScript Rendering Check. Er zeigt, welche Inhalte erst durch JavaScript entstehen.
3. Hol dir das HTML ohne Rendering auf der Kommandozeile und such darin nach dem Inhalt, der in KI-Antworten auftauchen soll.
4. Schau in deine Logfiles. Dort siehst du, welche KI-Bots deine Seiten abrufen, ob sie Status 200 bekommen und ob sie auch Skripte und API-Endpunkte laden.

Findet grep den Preis im ausgelieferten HTML, können ihn auch GPTBot und ClaudeBot lesen. Fehlt er, sieht ihn nur ein Crawler, der rendert. In unserem Test vom Oktober 2025 kannte Perplexity nach der Indexierung trotzdem einen Preis, den nur JavaScript einfügte. Mit einer Seite ist das kein Beleg. Mehr dazu steht im Ratgeber Schema Markup und KI.

Was kannst du tun?

Wichtige Inhalte serverseitig rendern

Serverseitiges Rendering (SSR) oder Vorrendern liefert den fertigen Inhalt schon im HTML aus. Frameworks wie Next.js oder Nuxt bringen das mit. Vercel empfiehlt, mindestens Haupttext, Metadaten und Navigation serverseitig auszuliefern. Interaktive Elemente dürfen weiter im Browser entstehen.

HTML zuerst, JavaScript als Ergänzung

Bei Progressive Enhancement steht der Inhalt im HTML, und JavaScript ergänzt Filter, Warenkorb oder Animationen. Führt ein Crawler das Skript nicht aus, bleibt der Inhalt trotzdem lesbar. Semantisches HTML mit klaren Überschriften hilft zusätzlich.

Strukturierte Daten und Meta-Angaben ins HTML

JSON-LD, das erst ein Skript einfügt, fehlt Crawlern ohne Rendering. Gib strukturierte Daten, Title, Canonical und robots-Angaben deshalb direkt im ausgelieferten HTML aus.

Rendering und Bots laufend prüfen

Ein Release kann Inhalte unbemerkt vom Server in den Browser verschieben. Vergleiche deshalb regelmäßig Quelltext und gerenderte Seite und prüfe in den Logfiles, welche Bots welche Seiten abrufen. Auch die Liste der KI-Crawler ändert sich laufend.

Wie geht es weiter?

KI-Agenten wie ChatGPT Agent arbeiten mit einem Browser und sehen Seiten so, wie Nutzer sie sehen. Für die Crawler für Training und Suche hat dagegen bisher kein großer Betreiber dokumentiert, dass sie rendern. Gleichzeitig trennen die Betreiber ihre Bots immer feiner nach Zweck. Für KI-Sichtbarkeit brauchst du deshalb beides, ein HTML mit allen wichtigen Inhalten und eine robots.txt, die zu den aktuellen Tokens passt. Wie du deine Website für Agenten vorbereitest, steht im Ratgeber Agentic Engine Optimization.

Häufige Fragen