KI-Bots in der robots.txt Klopfen KI-Bots an, zeigt searchVIU, wer reinkommt.

searchVIU prüft deine robots.txt alle 15 Minuten für jeden Bot. Du siehst, welche KI-Bots gesperrt sind und wie viele Google-Klicks die betroffenen Seiten haben.

Demo anfragen
alle 15 Minutenrobots.txt geprüftBot-Matrixnach Zweck sortiertLogfile-Analysewelche Bots wirklich kommenAI Visibilitywöchentlich in ChatGPT, Gemini und AI Mode
Alertsbeispiel-shop.de · heute
OAI-SearchBot gesperrtrobots.txt geändert um 09:45 · 48.210 URLs mit 31.400 Google-Klicks
Kritisch
Neue Gruppe für Claude-Userrobots.txt geändert um 09:45 · Disallow: /konto/
Warnung
GPTBot weiter gesperrtKI-Training · eigene Gruppe, unverändert
Info
Viele Bots

Ein Anbieter schickt mehrere Bots, und eine Regel trifft schnell den falschen.

OpenAI schickt GPTBot fürs Training und OAI-SearchBot für die Suche in ChatGPT. Steht OAI-SearchBot in derselben Gruppe wie GPTBot, ist auch die ChatGPT-Suche gesperrt.

KI-TrainingGPTBot und andere Training-Bots sammeln Inhalte für Sprachmodelle.
KI-SucheOAI-SearchBot, Claude-SearchBot oder PerplexityBot holen Inhalte für Antworten mit Quellen.
Abruf auf NutzerwunschChatGPT-User, Claude-User oder Perplexity-User rufen eine Seite ab, wenn jemand im Chat danach fragt. ChatGPT-User und Perplexity-User halten sich laut Betreiber nicht immer an die robots.txt, Claude-User schon.
Bot-Matrix

Für jeden Bot siehst du, wie viele Google-Klicks eine Sperre trifft.

Die Bot-Matrix ordnet jeden Bot einer Klasse zu, von der Suche über KI-Suche, KI-Training und Abrufe auf Nutzerwunsch bis zu SEO-Tools. Für jeden Bot siehst du, ob er rein darf, wie viele URLs gesperrt sind und wie viele Google-Klicks diese URLs haben.

    Mehr zum KI-Crawler Monitoring
    BotZugriffGoogle-Klicks dieser URLsKlasse
    Googleboterlaubt0Suche
    OAI-SearchBotgesperrtalle 48.210 URLs31.400KI-Suche
    ChatGPT-Usererlaubthält sich laut OpenAI nicht immer an die robots.txt0Abruf auf Nutzerwunsch
    Claude-Userteilweise/konto/0Abruf auf Nutzerwunsch
    GPTBotgesperrtalle 48.210 URLs, gewollt31.400KI-Training
    AhrefsBoterlaubt0SEO-Tools

    Die Klicks aus der Search Console zeigen, wie wichtig die gesperrten Seiten sind. Beispieldaten.

    Änderungen

    Kommt eine neue Zeile in die robots.txt, findet searchVIU sie.

    searchVIU prüft deine robots.txt alle 15 Minuten und speichert jede Version. Der Diff zeigt je Zeile und User-Agent, was sich geändert hat. Geplante Änderungen prüfst du vorher im Testmodus.

    Mehr zum robots.txt Monitoring
    www.beispiel-shop.de/robots.txtÄnderung um 09:45
    User-agent: GPTBot
+ User-agent: OAI-SearchBotDisallow: /

User-agent: *
Disallow: /checkout/
    OAI-SearchBot für alle URLs gesperrtAlert an das Team verschickt
    Logfile-Analyse

    Die robots.txt sagt, wer darf, und die Logs zeigen, wer kommt.

    Die Logfile-Analyse zeigt, welche KI-Bots deine Seiten wirklich abrufen. Dazu gehören Abrufe für einzelne Antworten und Zugriffe auf die llms.txt. Bots, die sich nur als bekannter Bot ausgeben, weist searchVIU als Fake-Bots aus.

    • LogquellenCloudflare, Upload, FTP oder Amazon S3
    • Fake-Botsgetrennt ausgewiesen
    Mehr zur KI-Logfile-Analyse
    Abrufe durch KI-Botsbeispiel-shop.de · letzte 7 Tage
    ChatGPT-User38 %
    OAI-SearchBot21 %
    GPTBot17 %
    PerplexityBot11 %
    Claude-SearchBot8 %
    Fake-Bots5 %
    KI-Antworten

    Zeigt sich die Freigabe auch in KI-Antworten?

    AI Visibility Monitoring prüft jede Woche, ob ChatGPT, Gemini und Google AI Mode dich nennen und welche Seiten sie als Quelle zitieren. So siehst du, ob deine freigegebenen Seiten danach als Quelle auftauchen.

    Mehr zum AI Visibility Monitoring

    Häufige Fragen zu KI-Bots

    Sollten wir GPTBot sperren?

    Das entscheidest du. searchVIU zeigt, welchem Zweck ein Bot dient, wie viele URLs eine Sperre trifft und wie viele Google-Klicks diese URLs haben. Mit einer eigenen Gruppe für GPTBot lässt sich das Training sperren, während OAI-SearchBot weiter abrufen darf.

    Sperrt eine Regel für GPTBot automatisch auch OAI-SearchBot?

    Nur wenn beide in derselben Gruppe stehen oder eine Regel für alle Bots greift. Die Bot-Matrix zeigt für jeden Bot einzeln, ob er gesperrt ist.

    Unsere Logs liegen nicht bei Cloudflare.

    searchVIU liest Logs auch per Upload, per FTP oder aus Amazon S3. Weitere Quellen binden wir an. Zur Logfile-Analyse

    Bringt eine llms.txt etwas?

    Das hängt davon ab, ob KI-Dienste sie abrufen. Genau das zeigt die Logfile-Analyse. Ob sie sich auf Nennungen in KI-Antworten auswirkt, ist offen. Zum llms.txt Monitoring

    Wie genau sind die Zahlen aus KI-Antworten?

    Es sind Näherungswerte, denn KI-Antworten schwanken von Abfrage zu Abfrage. searchVIU misst jede Woche mit denselben Prompts. So wird die Entwicklung je Engine sichtbar.

    Was kostet das?

    Das robots.txt-Monitoring gehört zum SEO-Monitoring, ab 399 € im Monat mit 50.000 URLs inklusive. Logfile-Analyse und KI-Sichtbarkeit sind Zusatzmodule zum SEO-Monitoring, ab je 199 € im Monat. Alle Preise findest du auf der Preisseite. Zu den Preisen

    Demo

    Lass uns über deine Website sprechen.

    In der Demo zeigt dir Michael, wie searchVIU funktioniert. Dafür nutzen wir deine Website und ein Beispielprojekt.

    1. Anfrage in drei kurzen Schritten
    2. Kurze Abstimmung zu Crawler-Freigabe, NDA und Search Console
    3. Demo mit deiner Website und dem Beispielprojekt
    4. Start gemeinsam geplant und begleitet
    1. Website
    2. Bedarf
    3. Kontakt

    Um welche Website geht es?