- searchVIU crawlt von der festen IP 35.190.196.200. Im User-Agent steht das Token searchVIUbot/2.0.
- Gib die IP in WAF, Bot-Schutz und Rate-Limits frei, am besten zusammen mit dem Token. Das gilt für jeden Host, auch für Bild-, CDN- und Staging-Hosts.
- Danach reicht eine Mail an info@searchviu.com. Wir prüfen den Abruf und stimmen das Tempo mit dir ab.
Das deckt die Freigabe ab
Alles, was searchVIU für dein Projekt abruft, kommt von dieser IP und mit diesem Token. Eine Freigabe reicht also für:
- den wöchentlichen kompletten Crawl und Page Watch
- die Prüfung von robots.txt, XML-Sitemaps und llms.txt
- den Check ausgehender Links
- Crawls deiner Staging- oder DEV-Umgebung
Bevor du startest
Sammle zuerst alle Hosts, über die deine Website ausgeliefert wird. Jeder davon braucht die Freigabe.
- die Hauptdomain, mit und ohne www
- Subdomains und Länder-Hosts, etwa shop.beispiel.de oder beispiel.at
- Hosts für Bilder, CSS, JavaScript und Schriften, auch beim CDN
- Staging- und DEV-Umgebungen, wenn searchVIU sie crawlen soll
Beim Rendern lädt der Crawler CSS, JavaScript, Schriften und Bilder wie ein Browser nach. Ohne Freigabe dieser Hosts fehlen im Ergebnis Teile der Seite. Auf jedem Host muss außerdem die robots.txt für searchVIUbot erreichbar sein.
Liegen mehrere Schutzschichten hintereinander, etwa CDN, Firewall beim Hosting und Rate-Limit im Webserver, braucht jede die Ausnahme.
In drei Schritten zum ersten Crawl
Freigabe anlegen
Gib diese Angaben an die IT, das Hosting oder die CDN-Betreuung weiter.
IP-Adresse
35.190.196.200Token im User-Agent
searchVIUbotIP-Liste als JSON
https://www.searchviu.com/searchviubot-ips.jsonLeg auf jedem Host eine Regel an, die diese IP an WAF, Bot-Schutz, Rate-Limits und Länder-Sperren vorbeilässt, wo möglich nur zusammen mit dem Token. Die Anleitungen je Anbieter stehen unten.
Prüf in Regeln nur auf das Token, denn die Chrome-Version im User-Agent steigt mit jedem Browser-Update. Die IP-Liste ist aufgebaut wie die von Google und lässt sich direkt in automatische Allowlists einlesen.
Bescheid geben
Schreib an info@searchviu.com, welche Hosts freigegeben sind und welcher Anbieter davor sitzt. Hilfreich ist auch, wie viele Anfragen pro Minute dein Server verträgt.
Wir prüfen den Abruf
Zur Probe rufen wir einige Seiten ab und sagen dir, ob alles durchkommt. Das Tempo stimmen wir vor dem ersten Crawl mit dir ab.
Die Ausnahme je Anbieter
Die Menüpfade stammen aus den Dokus der Hersteller, Stand 10.11.2026. Heißt ein Punkt bei dir anders, hilft die verlinkte Doku weiter.
Cloudflare Free
Im Free-Tarif kommt der Crawler mit einer IP Access Rule und der Aktion Allow am Bot Fight Mode vorbei.
- Öffne Security rules › Create rule › IP access rules.
- Trag im Feld „IP, IP range, country name, or ASN“ die Adresse 35.190.196.200 ein.
- Wähle als Action „Allow“ und als Geltungsbereich diese Website oder alle Websites im Konto.
- Schreib eine Notiz dazu, etwa searchVIUbot, und klick auf „Create“.
Mit Allow kommen die Anfragen auch an Custom Rules, Rate Limiting Rules und WAF Managed Rules vorbei. Die Regel prüft nur die Adresse. Das genügt, weil nur der Crawler von searchVIU sie nutzt.
Cloudflare Pro und höher
Ab Pro kommt eine Custom Rule auch am Super Bot Fight Mode vorbei. Sie prüft IP und Token zusammen und überspringt mit Skip die übrigen Schutzregeln.
- Öffne Security rules › Create rule › Custom rules und gib bei „Rule name“ einen Namen ein, etwa searchVIUbot.
- Trag diesen Ausdruck ein.
(ip.src eq 35.190.196.200 and http.user_agent contains "searchVIUbot")- Wähle bei „Choose action“ die Aktion „Skip“.
- Hak „All remaining custom rules“, „All rate limiting rules“, „All Super Bot Fight Mode rules“ und „All managed rules“ an. Nutzt du weitere Funktionen wie Browser Integrity Check oder Security Level, hak sie mit an.
- Klick auf „Deploy“ und schieb die Regel an den Anfang der Liste.
Imperva
In Imperva Cloud Application Security legst du eine Allowlist in den WAF-Einstellungen der Website an.
- Öffne in my.imperva.com Application › Websites, wähle die Website und dann Website Settings › WAF.
- Klick bei der Schutzart, die searchVIUbot blockiert, auf „Add allowlist“.
- Wähle bei „Add allowlist rule on“ den Eintrag IP, trag 35.190.196.200 ein und klick auf „Add“.
- Ergänze in derselben Regel User Agent mit searchVIUbot, klick auf „Add“ und dann auf „Confirm“.
Die Regel greift nur, wenn IP und Token zusammen passen. Arbeitet dein Konto bereits mit Richtlinien (WAF Rules policy), findest du die Einstellungen dort.
Doku: docs-cybersec.thalesgroup.com › Cloud Application Security › WAF Settings
AWS WAF
In AWS WAF legst du ein IP-Set an und nimmst es aus Bot Control aus.
- Öffne in der AWS-Konsole AWS WAF › IP sets › Create IP set.
- Gib einen Namen ein und wähle die Region, für CloudFront Global (CloudFront).
- Wähle bei „IP version“ IPv4, trag bei „IP addresses“ 35.190.196.200/32 ein und klick auf „Create IP set“.
- Ergänze im Regelsatz von Bot Control ein Scope-down-Statement, das Anfragen aus diesem IP-Set ausnimmt.
"ScopeDownStatement": {
"NotStatement": {
"Statement": {
"IPSetReferenceStatement": {
"ARN": "<ARN deines IP-Sets>"
}
}
}
}Dieselbe Ausnahme brauchst du für Rate-based Rules. Auf Wunsch richten wir zusätzlich einen geheimen Header ein, an dem AWS den Crawler erkennt.
Doku: docs.aws.amazon.com/waf/latest/developerguide/waf-ip-set-managing.html · …/waf-bot-control-example-scope-down-ip.html
Fastly
In der Next-Gen WAF von Fastly lässt eine Regel mit der Aktion Allow die Anfrage durch, auch wenn andere Regeln sie blockieren würden.
- Öffne im Fastly Control Panel Security › Next-Gen WAF › Rules und wähle den Workspace.
- Klick auf „Add workspace rule“ und wähle bei „Type“ Request.
- Leg bei „Conditions“ eine Bedingung für die IP 35.190.196.200 an und mit „Add condition“ eine zweite für einen User-Agent mit searchVIUbot. Wähle „All“, damit beide zutreffen müssen.
- Wähle bei „Actions“ Allow und klick auf „Create workspace rule“.
In der eigenen Konsole der Next-Gen WAF liegt die Regel unter Sites › Website › Rules › Site Rules › Add site rule.
Doku: fastly.com/documentation/guides/next-gen-waf/rules/working-with-request-rules/
Sucuri
In Sucuri gibst du die IP in der Zugriffssteuerung der Website frei.
- Öffne im WAF-Portal von Sucuri die Website und den Tab „Access Control“.
- Trag unter „Allow IP Addresses“ die Adresse 35.190.196.200 ein und klick auf „Allow“.
Doku: docs.sucuri.net/website-firewall/allowlist-and-blocklist/allow-an-ip-address/
Akamai
Im Bot Manager von Akamai legst du searchVIUbot als eigenen Bot an (custom-defined bot) und ordnest ihn einer eigenen Kategorie zu. Für diese Kategorie wählst du eine Aktion, die die Anfragen durchlässt. Am sichersten erkennt der Bot Manager den Crawler an der IP 35.190.196.200, wenn möglich zusammen mit dem Token searchVIUbot.
Doku: techdocs.akamai.com/cloud-security/docs/detection-methods
Andere und Server-Firewall
Bei anderen Anbietern und ohne CDN gilt dasselbe Prinzip. Nimm die IP 35.190.196.200 überall aus, wo Anfragen gesperrt oder gebremst werden, also in der Firewall, in Rate-Limit-Modulen des Webservers und bei Länder-Sperren. Betreut dein Hosting-Anbieter die Firewall, schick ihm IP, Token und den Link zur IP-Liste.
In den Access-Logs erkennst du die Anfragen von searchVIU am Token searchVIUbot und an der IP.
Staging und DEV-Umgebung freigeben
Soll searchVIU deine Staging- oder DEV-Umgebung crawlen, richten wir den Zugang nach deinen Vorgaben ein.
- Passwortschutz per Basic Auth. Benutzername und Passwort tragen wir im Projekt ein.
- IP-Freigabe. Die Staging-Umgebung lässt 35.190.196.200 durch, genau wie die Live-Website.
- Eigener Header. CDN oder WAF erkennen den Crawler an einem geheimen Header, etwa einem Bypass-Token.
Sperrt die robots.txt der Staging-Umgebung alles, hinterlegen wir auf Wunsch eine eigene robots.txt nur für deine Crawls. Für Suchmaschinen bleibt die Sperre bestehen. Mehr dazu im Ratgeber Staging-Umgebung und SEO.
Datenschutz
Ohne Zugangsdaten ruft searchVIUbot nur öffentlich erreichbare Seiten ab. Zugangsdaten für die Staging-Umgebung gehen beim Crawl der Live-Website nie mit. Der Crawler läuft in der Google Cloud in der EU, und auch die Projektdaten liegen in der EU. Mehr dazu auf der Seite Sicherheit & DSGVO.
Fehlerbehebung
Viele Seiten haben Status 403 oder brechen ohne Statuscode ab.
WAF, Bot-Schutz oder Firewall sperren noch. Prüf, ob die Ausnahme auf jedem Host und in jeder Schutzschicht liegt, auch in der Netzwerk-Firewall. Danach reicht eine Mail an info@searchviu.com für einen neuen Abruf.
Viele Seiten heißen „Just a moment…“ und haben kaum Inhalt.
Das ist meist eine Challenge-Seite des Bot-Schutzes mit Status 200. Die WAF lässt den Crawler zwar durch, aber im Bot-Schutz fehlt die Ausnahme noch.
Der Crawl dauert lange, und viele Seiten haben Status 429.
Ein Rate-Limit greift. Jeder 429 halbiert das Tempo des Crawls. Nimm die IP aus dem Rate-Limit aus oder schreib uns, wie viele Anfragen pro Minute dein Server verträgt.
Im Screenshot fehlen CSS, Bilder oder Schriften.
Ein Host für Dateien oder Bilder sperrt den Crawler. Gib die IP auch auf diesem Host frei.
Häufige Fragen
Reicht es, den User-Agent freizugeben?
Nein. Einen User-Agent kann jeder kopieren. Erst die IP zeigt, dass eine Anfrage wirklich von searchVIU kommt. Das Token grenzt die Regel zusätzlich ein.
Ändert sich die IP?
searchVIU nutzt eine feste Adresse. Ändert sie sich, sagen wir Bescheid. Das Feld creationTime in der IP-Liste zeigt den Stand.
Warum meldet sich searchVIUbot nicht als Googlebot?
Cloudflare, Akamai und AWS WAF stufen einen Googlebot-User-Agent, der nicht von einer Google-Adresse kommt, als vorgetäuschten Bot ein. In der robots.txt folgt searchVIUbot trotzdem deinen Regeln für Googlebot, solange es keine eigene Gruppe für ihn gibt.
Wie lässt sich der Crawler bremsen?
Das Tempo stimmen wir vor dem ersten Crawl mit dir ab. Antwortet dein Server mit HTTP 429, halbiert der ganze Crawl sein Tempo. Soll ein Crawl ganz stoppen, reicht eine Mail an info@searchviu.com.
Verfälscht der Crawl die Analytics-Zahlen?
Nein. Über 300 bekannte Tracking-, Analytics- und Werbe-Adressen blockiert searchVIUbot, bevor eine Anfrage rausgeht.
Weiter mit
Frage offen? Schreib uns an info@searchviu.com oder lies auf der Seite SEO Crawler, was searchVIU mit den Crawl-Daten macht.