Kurz gesagt
- Die Liste nennt 26 Tokens von 10 Betreibern. Jede Zeile verweist auf die Doku des Betreibers.
- Die großen Anbieter trennen Training, Suche und Abrufe auf Nutzerwunsch. Du kannst das Training sperren und in KI-Suchen trotzdem als Quelle auftauchen.
- Bots, die auf Wunsch eines Nutzers eine Seite holen, halten sich oft nur eingeschränkt an die robots.txt.
- Stand der Liste: 15.10.2026.
Vier Arten von KI-Bots
Wofür ein Betreiber die Inhalte nutzt, entscheidet, was eine Sperre in der robots.txt bewirkt. Die Liste ist deshalb nach Zweck sortiert.
- Training. Der Bot sammelt Inhalte für künftige Modelle.
- Suche und Index. Der Bot baut einen Index auf, aus dem KI-Suchen ihre Quellen wählen.
- Abruf auf Nutzerwunsch. Der Bot holt eine Seite, weil jemand gerade danach fragt.
- Steuer-Tokens und Sonderfälle. Tokens ohne eigenen Crawler und Bots mit eng begrenztem Auftrag.
Was die Arten für deine robots.txt bedeuten und wie eine Regel aussieht, die das Training sperrt und KI-Suchen erlaubt, erklärt der Ratgeber KI-Crawler.
Training
| robots.txt-Token | Betreiber | Was der Bot tut | robots.txt | Quelle |
|---|---|---|---|---|
| GPTBot | OpenAI | Sammelt Inhalte, die ins Training der Foundation-Modelle von OpenAI fließen können | Disallow heißt laut OpenAI, dass Inhalte nicht ins Training sollen | Doku ohne Datum, abgerufen 15.10.2026 |
| ClaudeBot | Anthropic | Sammelt Inhalte, die ins Training der Claude-Modelle fließen können | ja, auch Crawl-delay | Doku Stand 07.04.2026 |
| meta-externalagent | Meta | Crawlt für das Training von Foundation-Modellen und um Inhalte für Meta-Produkte zu indexieren | Meta zeigt eine robots.txt-Regel für dieses Token | Doku ohne Datum, abgerufen 15.10.2026 |
| MistralAI-Training | Mistral AI | Sammelt Inhalte für Trainingsdaten der Mistral-Modelle | ja, per Disallow sperrbar | Doku ohne Datum, abgerufen 15.10.2026 |
| Amazonbot | Amazon | Verbessert Amazon-Produkte, die Daten können ins Training von Amazon-Modellen fließen | ja, ohne Crawl-delay | Doku ohne Datum, abgerufen 15.10.2026 |
| CCBot | Common Crawl | Baut ein offenes Webarchiv auf, das häufig als Trainingsgrundlage dient | ja | Doku ohne Datum, abgerufen 15.10.2026 |
Suche und Index
Googlebot und Applebot arbeiten für mehrere Zwecke. Wer sie sperrt, verschwindet auch aus der klassischen Suche.
| robots.txt-Token | Betreiber | Was der Bot tut | robots.txt | Quelle |
|---|---|---|---|---|
| OAI-SearchBot | OpenAI | Zeigt Websites als Quellen in der Suche von ChatGPT | ja, Änderungen wirken nach rund 24 Stunden | Doku ohne Datum, abgerufen 15.10.2026 |
| Claude-SearchBot | Anthropic | Indexiert Inhalte, um die Suchergebnisse in Claude zu verbessern | ja | Doku Stand 07.04.2026 |
| PerplexityBot | Perplexity | Zeigt und verlinkt Websites in den Suchergebnissen von Perplexity, laut Perplexity ohne Training | ja | Doku ohne Datum, abgerufen 15.10.2026 |
| MistralAI-Index | Mistral AI | Indexiert Inhalte für die Mistral-Suche, laut Mistral ohne Training | ja | Doku ohne Datum, abgerufen 15.10.2026 |
| Amzn-SearchBot | Amazon | Indexiert für Suchfunktionen in Amazon-Produkten wie Alexa, laut Amazon ohne Training | ja; ohne eigene Gruppe gelten die Regeln für andere Such-Bots | Doku ohne Datum, abgerufen 15.10.2026 |
| meta-webindexer | Meta | Indexiert für die Suche in Meta AI, damit Meta AI Inhalte zitieren und verlinken kann | Meta nennt robots.txt als Steuerung | Doku ohne Datum, abgerufen 15.10.2026 |
| DuckAssistBot | DuckDuckGo | Ruft Seiten für die KI-gestützten Antworten von DuckDuckGo ab, laut DuckDuckGo ohne Training | ja, Änderungen wirken nach 72 Stunden | Doku ohne Datum, abgerufen 15.10.2026 |
| Googlebot | Crawlt für die Google-Suche, dazu gehören AI Overviews und AI Mode | ja | Doku Stand 10.12.2025 | |
| Applebot | Apple | Crawlt für Spotlight, Siri und Safari, die Daten können auch ins Training von Apple-Modellen fließen | ja, ohne Crawl-delay; ohne eigene Gruppe gelten die Regeln für Googlebot | Doku Stand 04.09.2026 |
Abruf auf Nutzerwunsch
Diese Bots crawlen nicht selbstständig. Sie holen eine Seite, wenn ein Mensch im Assistenten danach fragt oder einen Link teilt. Mehrere Betreiber schreiben, dass die robots.txt dabei nicht immer gilt.
| robots.txt-Token | Betreiber | Was der Bot tut | robots.txt | Quelle |
|---|---|---|---|---|
| ChatGPT-User | OpenAI | Ruft eine Seite ab, wenn jemand in ChatGPT oder einem Custom GPT danach fragt | laut OpenAI gelten die Regeln unter Umständen nicht | Doku ohne Datum, abgerufen 15.10.2026 |
| Claude-User | Anthropic | Ruft eine Seite ab, wenn jemand Claude eine Frage stellt | ja, eine Sperre verhindert den Abruf | Doku Stand 07.04.2026 |
| Perplexity-User | Perplexity | Ruft eine Seite ab, wenn jemand in Perplexity eine Frage stellt | in der Regel nein | Doku ohne Datum, abgerufen 15.10.2026 |
| MistralAI-User | Mistral AI | Ruft eine Seite ab, wenn jemand in Mistral Vibe eine Frage stellt | ja, das Token regelt, welche Seiten abgerufen werden | Doku ohne Datum, abgerufen 15.10.2026 |
| Amzn-User | Amazon | Holt aktuelle Informationen, etwa für Antworten von Alexa | nicht unbedingt alle Regeln | Doku ohne Datum, abgerufen 15.10.2026 |
| meta-externalfetcher | Meta | Ruft einzelne Links auf Wunsch eines Nutzers ab, etwa für KI-Agenten | kann die Regeln umgehen | Doku ohne Datum, abgerufen 15.10.2026 |
| Google-Agent | Agenten auf Google-Infrastruktur, die im Auftrag eines Nutzers Websites bedienen | Google sagt für Nutzer-Abrufe allgemein, dass sie die Regeln meist ignorieren | Doku Stand 19.08.2026 |
Steuer-Tokens und Sonderfälle
| robots.txt-Token | Betreiber | Was der Bot tut | robots.txt | Quelle |
|---|---|---|---|---|
| Google-Extended | Steuer-Token ohne eigenen Crawler. Regelt, ob Inhalte ins Training künftiger Gemini-Modelle und ins Grounding in Gemini und Vertex AI fließen. Kein Einfluss auf die Google-Suche. | nur in der robots.txt | Doku Stand 15.10.2026 | |
| Applebot-Extended | Apple | Steuer-Token ohne eigenen Crawler. Regelt, ob Daten von Applebot ins Training von Apple-Modellen fließen. | nur in der robots.txt | Doku Stand 04.09.2026 |
| Google-CloudVertexBot | Crawlt im Auftrag von Website-Betreibern, die Agenten in Vertex AI bauen. Kein Einfluss auf die Google-Suche. | ja | Doku Stand 15.10.2026 | |
| OAI-AdsBot | OpenAI | Prüft Landingpages, die als Anzeige in ChatGPT eingereicht wurden, laut OpenAI ohne Training | nicht angegeben | Doku ohne Datum, abgerufen 15.10.2026 |
Echtheit prüfen
Ein User-Agent lässt sich leicht fälschen. Die meisten Betreiber veröffentlichen deshalb die IP-Bereiche ihrer Bots. Gleiche die Adresse aus deinem Log mit diesen Listen ab, bevor du eine Anfrage einem Betreiber zuordnest.
| Betreiber | IP-Listen und Prüfweg |
|---|---|
| OpenAI | searchbot.json, gptbot.json, chatgpt-user.json, adsbot.json |
| Anthropic | bots.json |
| Perplexity | perplexitybot.json, perplexity-user.json |
| common-crawlers.json, user-triggered-agents.json | |
| Apple | applebot.json, Reverse DNS auf *.applebot.apple.com |
| Amazon | Amazonbot, Amzn-SearchBot, Amzn-User |
| Common Crawl | ccbot.json, Reverse DNS auf *.crawl.commoncrawl.org |
| DuckDuckGo | duckassistbot.json |
| Mistral AI | auf der Doku-Seite verlinkt |
Anthropic weist darauf hin, dass eine Sperre per IP-Adresse den Opt-out verhindern kann, weil der Bot dann deine robots.txt nicht mehr lesen kann.
Nicht in der Liste
Ältere Listen nennen weitere Kennungen, zum Beispiel anthropic-ai, Claude-Web, Bytespider, cohere-ai oder YouBot. Für diese Kennungen haben wir am 15.10.2026 keine aktuelle Doku des Betreibers gefunden. Sie stehen deshalb nicht in der Tabelle.
Fehlt ein Bot oder hat sich eine Angabe geändert? Schreib uns an info@searchviu.com.
Quellen
- OpenAI: Overview of OpenAI Crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler? (07.04.2026)
- Perplexity: Perplexity Crawlers
- Google: Google common crawlers (15.10.2026)
- Google: Google user-triggered fetchers (19.08.2026)
- Google: AI features and your website (10.12.2025)
- Apple: About Applebot (04.09.2026)
- Meta: Meta Web Crawlers
- Amazon: Amazonbot, Amzn-SearchBot, Amzn-User
- Mistral AI: Mistral crawlers
- DuckDuckGo: DuckAssistBot
- Common Crawl: CCBot