KI-Crawler Monitoring Wenn eine Zeile KI-Bots aussperrt, merkt searchVIU es.
searchVIU prüft deine robots.txt alle 15 Minuten für Suchmaschinen und KI-Bots. Sperrt eine Änderung einen Bot aus, siehst du die betroffenen URLs und ihre Google-Klicks.
GooglebotSucheOAI-SearchBotKI-SucheClaude-SearchBotKI-SuchePerplexityBotKI-SucheChatGPT-UserAbruf auf NutzerwunschGPTBotKI-Training · eigene GruppeJeder KI-Bot hat seinen Zweck, von Training über Suche bis zu Antworten.
OpenAI schickt GPTBot fürs Training, OAI-SearchBot für die Suche und ChatGPT-User, wenn jemand in ChatGPT eine Frage stellt. Jeder Bot hat eine eigene Einstellung. Eine Regel für alle Bots trifft aber auch die Bots, die für die Suche abrufen.
Welcher Bot darf rein, und was trifft eine Sperre?
searchVIU ordnet jeden bekannten Bot einer Klasse zu, von der Suche über KI-Suche, KI-Training und Abrufe auf Nutzerwunsch bis zu SEO-Tools. Je Bot siehst du, ob er rein darf, ob er eine eigene Gruppe hat und wie viele URLs eine Sperre trifft. So sperrst du das Training und lässt die KI-Suche rein.
| Bot | Klasse | Zugriff | Gesperrte URLs | Google-Klicks dieser URLs |
|---|---|---|---|---|
Googlebot | Suche | erlaubt | 0 | 0 |
OAI-SearchBot | KI-Suche | gesperrtsteht in der Gruppe von GPTBot | 48.210 | 31.400 |
Claude-SearchBot | KI-Suche | erlaubt | 0 | 0 |
PerplexityBot | KI-Suche | erlaubt | 0 | 0 |
ChatGPT-User | Abruf auf Nutzerwunsch | erlaubthält sich laut OpenAI nicht immer an die robots.txt | 0 | 0 |
GPTBot | KI-Training | gesperrtgewollt | 48.210 | 31.400 |
Beispielprojekt. Die Klicks aus der Search Console zeigen, wie wichtig die gesperrten Seiten sind.
Mehr zum robots.txt MonitoringsearchVIU speichert jede Version und vergleicht sie Zeile für Zeile.
searchVIU vergleicht jede neue robots.txt zeilengenau mit der vorherigen, je User-Agent. Sperrt eine Änderung einen Such-Bot von Google oder einer KI-Suche, ist der Alert kritisch. Bei Training-Bots gibt es eine Warnung, bei Abrufen auf Nutzerwunsch einen Hinweis mit dem Schweregrad Info. Pro Prüflauf kommt höchstens eine Mail je Projekt, bekannte Änderungen werden nicht noch einmal gemailt.
Zur Alert-Liste+ User-agent: OAI-SearchBotUser-agent: GPTBot
Disallow: /
User-agent: *
Disallow: /warenkorb/
Eine neue robots.txt testest du vor dem Ausrollen.
Für Teams mit vielen Hosts und häufigen Deployments.
Ob ein erlaubter Bot wirklich kommt, zeigen die Logs.
Ob ChatGPT-User oder ClaudeBot deine Seiten wirklich abrufen, wie oft und welche, zeigen deine Server-Logs. Dort fällt auch auf, wenn die Firewall Bots blockt, die in der robots.txt erlaubt sind.
Was bleibt ohne JavaScript übrig?
Inhalte, die erst per JavaScript auf die Seite kommen, sieht ein Bot nur, wenn er die Seite rendert. searchVIU crawlt jede Seite in einem echten Chrome und vergleicht den Quelltext mit der gerenderten Seite. So siehst du, was ein Bot ohne Rendering vorfindet.
| Auf der Seite | Quelltext | Gerendert |
|---|---|---|
| Produkte | 0 | 36 |
| Interne Links | 18 | 142 |
| Fließtext | 25 Wörter | 410 Wörter |
Die richtigen Bots dürfen rein.
- KI-Suche erlaubtOAI-SearchBot, Claude-SearchBot, PerplexityBot
- Training geregeltGPTBot in eigener Gruppe gesperrt
- robots.txt unverändert96 Prüfungen seit gestern
Häufige Fragen zum KI-Crawler Monitoring
Hat searchVIU einen eigenen KI-Crawler?
Nein. Mit KI-Crawler Monitoring ist gemeint, dass searchVIU überwacht, welche KI-Bots deine Website abrufen dürfen. Der Crawler von searchVIU heißt searchVIUbot und crawlt deine Website für das SEO-Monitoring.
Welche Bots erkennt searchVIU?
searchVIU kennt die gängigen Bots für Suche, KI-Suche, KI-Training, Abrufe auf Nutzerwunsch und SEO-Tools. Dazu gehören zum Beispiel Googlebot, GPTBot, OAI-SearchBot, Claude-SearchBot, PerplexityBot, DuckAssistBot, ChatGPT-User, Claude-User und MistralAI-User. ChatGPT-User, Perplexity-User und meta-externalfetcher halten sich laut ihren Betreibern nicht immer an die robots.txt. Eine Sperre für diese Bots meldet searchVIU deshalb als Hinweis. Claude-User lässt sich laut Anthropic per robots.txt sperren. Zur KI-Bot-Liste
Wir haben viele Domains und Subdomains. Geht das?
Ja. searchVIU prüft die robots.txt jedes Hosts aus deinen Live-Crawls, auch Länderseiten und alte Domains nach einer Migration.
Wie schnell kommt die Meldung?
searchVIU prüft alle 15 Minuten. Findet ein Prüflauf eine Änderung, kommt höchstens eine Meldung je Projekt, wie alle Alerts per Mail, Slack, Teams oder Webhook. Bekannte Änderungen meldet searchVIU nicht noch einmal.
Ist das im Preis enthalten?
Ja. Das KI-Crawler Monitoring gehört zum SEO-Monitoring, ab 399 € im Monat mit 50.000 URLs inklusive. Alle Preise findest du auf der Preisseite. Zu den Preisen
Was ist der Unterschied zur KI-Logfile-Analyse?
Das KI-Crawler Monitoring zeigt, welche Bots deine Seiten abrufen dürfen. Die KI-Logfile-Analyse zeigt, welche Bots tatsächlich kommen und wie oft. Sie ist ein Zusatzmodul zum SEO-Monitoring. Zur KI-Logfile-Analyse
Lass uns über deine Website sprechen.
In der Demo zeigt dir Michael, wie searchVIU funktioniert. Dafür nutzen wir deine Website und ein Beispielprojekt.
- Anfrage in drei kurzen Schritten
- Kurze Abstimmung zu Crawler-Freigabe, NDA und Search Console
- Demo mit deiner Website und dem Beispielprojekt
- Start gemeinsam geplant und begleitet
Um welche Website geht es?
Bitte gib deine Website und deine geschäftliche E-Mail an.Für die Demo brauchen wir deine geschäftliche E-Mail. Ohne Firmenadresse kannst du unsere Gratis-Tools nutzen.
Was brauchst du?
Mehrfachauswahl möglich.
Wer bist du?
Wir nutzen deine Angaben nur für die Demo. Mehr dazu in der Datenschutzerklärung.
Für die Demo brauchen wir deine geschäftliche E-Mail.Bitte prüf deine E-Mail-Adresse.Bitte gib deine Website an.Bitte prüf die Adresse deiner Website.Die Spam-Prüfung ließ sich nicht laden. Schreib uns bitte an info@searchviu.com.Das hat nicht geklappt. Schreib uns bitte an info@searchviu.com.
Danke, such dir jetzt einen Termin aus.
Im Kalender siehst du die freien Termine für die Abstimmung mit Michael.