So erkennst und steuerst du searchVIUbot

Was searchVIUbot macht

searchVIU ist eine Plattform für SEO-Monitoring und Crawling. Unternehmen analysieren damit ihre eigenen Websites. Sie sehen, welche Seiten es gibt, wie sie verlinkt sind, was sich seit dem letzten Crawl geändert hat und wie eine Suchmaschine die Seiten sieht. searchVIUbot sammelt die Daten dafür.

Der größte Teil der Anfragen geht an Websites, deren Betreiber die Analyse selbst beauftragt haben. Ein kleiner Teil geht an andere Websites, etwa wenn eine Analyse eine verlinkte Seite abruft.

Ohne Zugangsdaten des Betreibers ruft searchVIUbot nur öffentlich erreichbare Seiten ab. Er meldet sich nirgends an und schickt keine Formulare ab.

So erkennst du searchVIUbot

searchVIUbot nennt sich im User-Agent-Header. Das Produkt-Token ist searchVIUbot/2.0, dazu kommt die Adresse dieser Seite. Es gibt eine Desktop- und eine Mobil-Variante.

Desktop

Mobil

searchVIUbot rendert jede Seite in einem echten Google Chrome. Die Chrome-Version im String ist die, die tatsächlich läuft. Sie steigt, sobald der Browser aktualisiert wird. Prüfe deshalb nur auf das Token searchVIUbot und nie auf den kompletten String.

Andere Kennung je Projekt

searchVIUbot ist die Standard-Kennung. Auf Wunsch des Website-Betreibers lässt sich die Kennung je Projekt umstellen. Das ist zum Beispiel nötig, wenn ein Betreiber auf seiner eigenen Website genau das sehen will, was Googlebot bekommt. Diese Analyse schickt dann den User-Agent von Googlebot oder einen eigenen String, den der Betreiber festlegt.

Der User-Agent allein ist deshalb kein sicherer Nachweis. Für die Echtheit zählt die IP-Adresse, siehe IP-Adresse und Echtheit.

Steuern per robots.txt

searchVIUbot liest vor dem Crawl deine robots.txt und hält sich daran. Dabei gibt es zwei Fälle.

Deine robots.txt hat eine Gruppe für searchVIUbot

Dann gelten nur diese Regeln. Googlebot und alle anderen Crawler betrifft das nicht.

Deine robots.txt nennt searchVIUbot nicht

Dann folgt searchVIUbot deinen Regeln für Googlebot. Die Analyse soll zeigen, was eine Suchmaschine erreichen kann. Eine Seite, die du für Googlebot sperrst, ruft searchVIUbot deshalb auch nicht ab.

Gibt es auch keine Gruppe für Googlebot, gelten die Regeln für alle Crawler, also die Gruppe User-agent: *.

Willst du Googlebot erlauben und searchVIUbot ausschließen, reicht ein Eintrag für Googlebot also nicht. Du brauchst eine eigene Gruppe für searchVIUbot wie oben.

Was searchVIUbot nicht auswertet

Die Anweisung Crawl-delay wertet searchVIUbot derzeit nicht aus. Ist das Tempo für deine Server zu hoch, schreib uns. Wir drosseln den Crawl dann für dein Projekt.

Deine robots.txt hält searchVIUbot bis zu 30 Minuten im Zwischenspeicher. Eine Änderung kann also bis zu 30 Minuten brauchen, bis sie greift.

IP-Adresse und Echtheit

Einen User-Agent kann jeder kopieren. Sicher bist du erst, wenn du die Herkunft der Anfrage prüfst. Die Crawler von searchVIU laufen in der Google Cloud in der EU. Neue Projekte crawlen über diese feste Adresse.

Pflegst du eine Allowlist, stimm die Freigabe vorher mit uns ab. Wir bestätigen dir schriftlich, welche Adresse für dein Projekt eingestellt ist, und sagen Bescheid, falls sie sich ändert.

Willst du eine einzelne Anfrage prüfen, schick uns Datum, Uhrzeit mit Zeitzone und die IP-Adresse. Wir sagen dir, ob die Anfrage von uns kam. Gibt sich etwas als searchVIUbot aus und kommt von einer Adresse, die wir nicht bestätigen, kannst du es sperren.

Tempo und Rücksicht auf deinen Server

Jede Seite wird in Chrome gerendert. Das dauert meist 6 bis 15 Sekunden. Ein einzelner Thread ruft deshalb nur rund 2 bis 4 Seiten pro Minute ab. Tempo und Anzahl gleichzeitiger Anfragen stellen wir je Projekt ein.

Soll ein Crawl stoppen, reicht eine Mail an info@searchviu.com. Wir brechen laufende Crawls jederzeit ab. Eine Drosselung ist meist schneller erledigt als eine Sperre, und die Analyse, die dein Unternehmen beauftragt hat, läuft weiter.

Rendering und was abgerufen wird

searchVIUbot öffnet jede URL in Google Chrome (Stable-Kanal) und führt JavaScript aus. Dabei lädt der Browser wie bei einem normalen Besuch CSS, JavaScript, Schriften und Bilder. Eine Seite gilt als fertig, wenn sie vollständig geladen hat und das Netzwerk ruhig ist. Nach 30 Sekunden bricht der Render ab.

• Über 300 bekannte Tracking-, Analytics- und Werbe-Adressen werden blockiert, bevor die Anfrage rausgeht. Deine Analytics-Zahlen bleiben so unverfälscht.
• CSS, JavaScript und Schriften hält searchVIU für alle Render-Instanzen gemeinsam im Zwischenspeicher. Deine Bundles werden deshalb nicht für jede Seite neu geladen. Das HTML jeder URL wird immer frisch abgerufen.
• Weiterleitungen fragt searchVIUbot Schritt für Schritt einzeln an, höchstens 10 Schritte.
• PDF- und Office-Dateien lädt searchVIUbot bis 30 MB herunter und liest den Text aus.

searchVIUbot freigeben oder sperren

Freigeben

Viele Firewalls und Bot-Schutz-Dienste lassen unbekannte Crawler nicht durch. Hat dein Unternehmen searchVIU beauftragt, gib die bestätigte IP-Adresse frei. Am sichersten ist eine Regel, die IP-Adresse und das Token searchVIUbot zusammen prüft. In Cloudflare geht das zum Beispiel mit einer eigenen WAF-Regel, die solche Anfragen an der Bot-Abwehr vorbeiführt.

Sperren

Der einfachste Weg ist eine eigene Gruppe in der robots.txt, siehe Steuern per robots.txt. Eine Sperre per IP-Adresse wirkt direkt, verhindert aber auch, dass searchVIUbot deine robots.txt liest. Willst du nur das Tempo senken, schreib uns. Wir passen den Crawl dann für dein Projekt an.

Kontakt

Fragen, Beschwerden, Freigaben oder der Wunsch nach weniger Tempo gehen an info@searchviu.com. Hilfreich sind deine Domain und, bei einer konkreten Anfrage, Datum, Uhrzeit mit Zeitzone und IP-Adresse.

Wie searchVIU mit Daten umgeht, steht auf der Seite Sicherheit & DSGVO.