robots.txt Monitoring Ändert jemand die robots.txt, meldet searchVIU es.

searchVIU prüft die robots.txt auf allen deinen Hosts alle 15 Minuten. Sperrt eine Änderung Google oder KI-Bots aus, bekommst du einen Alert.

Demo anfragen
Alle 15 Minutenauf allen HostsSuch- und KI-Botsmit den Google-Klicks gesperrter URLsJede Versionmit Diff je Zeile
robots.txt Monitoringbeispiel-shop.de · vor 6 Minuten
Inhalt der robots.txt geändert2 Zeilen hinzugefügt
Warnung
GPTBot neu gesperrtKI-Training
Warnung
OAI-SearchBot neu gesperrtKI-Suche · 2.140 URLs mit Google-Klicks
Kritisch
Versionen und Diff

Jede Version gespeichert und jede Zeile verglichen

searchVIU speichert jede Version deiner robots.txt. Bei einer Änderung siehst du den Diff je Zeile und je User-Agent. In der Historie steht, wann welche Fassung live war. Einen Zustand meldet searchVIU einmal, wenn er wechselt.

Mehr zu SEO Alerts
www.beispiel-shop.de/robots.txtÄnderung gefunden
User-agent: *
Disallow: /checkout/
- Disallow: /suche/+ Disallow: /
Website für alle Bots gesperrtAlert verschickt, 6 Minuten nach der Änderung
Bot-Matrix

Welcher Bot darf rein, und wie viele Klicks hängen an einer Sperre?

Die Bot-Matrix ordnet bekannte Bots in Klassen: Suchmaschinen, KI-Suche, KI-Training, Abruf auf Nutzerwunsch und SEO-Tools. Je Bot siehst du, ob er erlaubt ist, welche URLs gesperrt sind und wie viele Google-Klicks auf diesen URLs liegen.

    Mehr zu KI-Crawler Monitoring
    BotKlasseStatusGoogle-Klicks dieser URLs
    GooglebotSuchmaschineerlaubt0
    OAI-SearchBotKI-Suchegesperrt2.140
    PerplexityBotKI-Sucheerlaubt0
    GPTBotKI-Traininggesperrt2.140
    AhrefsBotSEO-Toolteilweise310
    beispiel-shop.de · Klicks der letzten 28 Tage2 von 5 gesperrt
    KI-Bots

    searchVIU zeigt, welchen KI-Bot eine Regel trifft.

    GPTBot sammelt Trainingsdaten, OAI-SearchBot ruft Seiten für Antworten in ChatGPT ab. Eine zu breite Regel trifft beide. searchVIU zeigt dir, welche KI-Such-Bots eine Änderung betrifft.

    Zur KI-Sichtbarkeit
    Alle Hosts

    searchVIU prüft jeden Host, auch Subdomains und Länder-Domains.

    Grundlage sind die Hosts in deinen Crawl-Profilen. Jede dieser robots.txt prüft searchVIU im selben 15-Minuten-Takt.

      Mehr zum SEO-Monitoring
      Hostsbeispiel-shop · heute
      www.beispiel-shop.deunverändert seit 9 Wochen
      Ok
      www.beispiel-shop.atunverändert seit 9 Wochen
      Ok
      www.beispiel-shop.chwieder erreichbar · Ausfall rund 2 Stunden
      Hoch
      shop.beispiel-shop.deSubdomain · unverändert
      Ok
      Was gemeldet wird

      Vom Komplettausfall bis zum fehlenden Sitemap-Verweis.

      searchVIU unterscheidet die Ereignisse an deiner robots.txt nach Wirkung. Eine Sperre der ganzen Website ist kritisch, ein wieder erlaubter Bot nur eine Info.

      Website komplett gesperrt„Disallow: /“ für alle Bots, etwa wenn die robots.txt der Staging-Umgebung live geht
      Bot gesperrt oder wieder erlaubtmit betroffenen URLs und ihren Google-Klicks
      Nicht erreichbar oder Serverfehlergemeldet, sobald der Ausfall bestätigt ist. Ist die Datei wieder da, kommt die Ausfalldauer dazu.
      HTML statt robots.txtetwa eine Weiterleitung auf die Startseite nach einem Relaunch
      Sitemap-Verweis entferntoder neu hinzugekommen
      Content-Signals geändertfür Suche, KI-Antworten oder KI-Training
      Alle robots.txt-Ereignisse in der Alert-Liste
      robots.txt heute

      Heute 96 Prüfungen ohne eine Änderung.

      Meistens bleibt die robots.txt, wie sie ist. searchVIU dokumentiert trotzdem jede Prüfung.

      • Alle Hosts erreichbaralle 15 Minuten geprüft
      • Keine Änderung an Bot-RegelnVersionshistorie unverändert
      • Sitemap-Verweise vollständigwie in der letzten Version
      Heute · 96-mal unverändert

      Häufige Fragen

      Wie oft prüft searchVIU die robots.txt?

      Alle 15 Minuten, auf jedem Host deiner Crawl-Profile. Einen Zustand meldet searchVIU einmal, wenn er wechselt. Ein Prüflauf erzeugt höchstens eine Mail pro Projekt.

      Welche Bots kennt searchVIU?

      Die Bot-Matrix ordnet bekannte Bots in Klassen: Suchmaschinen, KI-Suche, KI-Training, Abruf auf Nutzerwunsch und SEO-Tools. Dazu gehören zum Beispiel Googlebot, GPTBot und OAI-SearchBot. Bots wie ChatGPT-User rufen Seiten auf Wunsch eines Nutzers ab und halten sich laut Betreiber nicht verlässlich an die robots.txt. Ihre Sperre meldet searchVIU deshalb nur als Info.

      Gilt das auch für Subdomains und Länder-Domains?

      Ja, für jeden Host, der in deinen Crawl-Profilen steht.

      Können wir eine geplante Änderung vorher testen?

      Ja. Im Testmodus spielst du eine neue Fassung der robots.txt durch, ohne dass etwas gespeichert oder gemailt wird.

      Was kostet das robots.txt Monitoring?

      robots.txt Monitoring ist im SEO-Monitoring enthalten, ab 399 € im Monat mit 50.000 URLs inklusive. Alle Preise findest du auf der Preisseite.

      Demo

      Lass uns über deine Website sprechen.

      In der Demo zeigt dir Michael, wie searchVIU funktioniert. Dafür nutzen wir deine Website und ein Beispielprojekt.

      1. Anfrage in drei kurzen Schritten
      2. Kurze Abstimmung zu Crawler-Freigabe, NDA und Search Console
      3. Demo mit deiner Website und dem Beispielprojekt
      4. Start gemeinsam geplant und begleitet
      1. Website
      2. Bedarf
      3. Kontakt

      Um welche Website geht es?