robots.txt Monitoring Ändert jemand die robots.txt, meldet searchVIU es.
searchVIU prüft die robots.txt auf allen deinen Hosts alle 15 Minuten. Sperrt eine Änderung Google oder KI-Bots aus, bekommst du einen Alert.
Jede Version gespeichert und jede Zeile verglichen
searchVIU speichert jede Version deiner robots.txt. Bei einer Änderung siehst du den Diff je Zeile und je User-Agent. In der Historie steht, wann welche Fassung live war. Einen Zustand meldet searchVIU einmal, wenn er wechselt.
Mehr zu SEO AlertsUser-agent: * Disallow: /checkout/ - Disallow: /suche/+ Disallow: /
Welcher Bot darf rein, und wie viele Klicks hängen an einer Sperre?
Die Bot-Matrix ordnet bekannte Bots in Klassen: Suchmaschinen, KI-Suche, KI-Training, Abruf auf Nutzerwunsch und SEO-Tools. Je Bot siehst du, ob er erlaubt ist, welche URLs gesperrt sind und wie viele Google-Klicks auf diesen URLs liegen.
searchVIU zeigt, welchen KI-Bot eine Regel trifft.
GPTBot sammelt Trainingsdaten, OAI-SearchBot ruft Seiten für Antworten in ChatGPT ab. Eine zu breite Regel trifft beide. searchVIU zeigt dir, welche KI-Such-Bots eine Änderung betrifft.
searchVIU prüft jeden Host, auch Subdomains und Länder-Domains.
Grundlage sind die Hosts in deinen Crawl-Profilen. Jede dieser robots.txt prüft searchVIU im selben 15-Minuten-Takt.
www.beispiel-shop.deunverändert seit 9 Wochenwww.beispiel-shop.atunverändert seit 9 Wochenwww.beispiel-shop.chwieder erreichbar · Ausfall rund 2 Stundenshop.beispiel-shop.deSubdomain · unverändertVom Komplettausfall bis zum fehlenden Sitemap-Verweis.
searchVIU unterscheidet die Ereignisse an deiner robots.txt nach Wirkung. Eine Sperre der ganzen Website ist kritisch, ein wieder erlaubter Bot nur eine Info.
Heute 96 Prüfungen ohne eine Änderung.
Meistens bleibt die robots.txt, wie sie ist. searchVIU dokumentiert trotzdem jede Prüfung.
- Alle Hosts erreichbaralle 15 Minuten geprüft
- Keine Änderung an Bot-RegelnVersionshistorie unverändert
- Sitemap-Verweise vollständigwie in der letzten Version
Häufige Fragen
Wie oft prüft searchVIU die robots.txt?
Welche Bots kennt searchVIU?
Gilt das auch für Subdomains und Länder-Domains?
Können wir eine geplante Änderung vorher testen?
Was kostet das robots.txt Monitoring?
Lass uns über deine Website sprechen.
In der Demo zeigt dir Michael, wie searchVIU funktioniert. Dafür nutzen wir deine Website und ein Beispielprojekt.
- Anfrage in drei kurzen Schritten
- Kurze Abstimmung zu Crawler-Freigabe, NDA und Search Console
- Demo mit deiner Website und dem Beispielprojekt
- Start gemeinsam geplant und begleitet
Um welche Website geht es?
Bitte gib deine Website und deine geschäftliche E-Mail an.Für die Demo brauchen wir deine geschäftliche E-Mail. Ohne Firmenadresse kannst du unsere Gratis-Tools nutzen.
Was brauchst du?
Mehrfachauswahl möglich.
Wer bist du?
Wir nutzen deine Angaben nur für die Demo. Mehr dazu in der Datenschutzerklärung.
Für die Demo brauchen wir deine geschäftliche E-Mail.Bitte prüf deine E-Mail-Adresse.Bitte gib deine Website an.Bitte prüf die Adresse deiner Website.Die Spam-Prüfung ließ sich nicht laden. Schreib uns bitte an info@searchviu.com.Das hat nicht geklappt. Schreib uns bitte an info@searchviu.com.

Danke, such dir jetzt einen Termin aus.
Im Kalender siehst du die freien Termine für die Abstimmung mit Michael.