Enterprise SEO Crawling Der SEO-Crawler für Websites mit Millionen URLs
searchVIU crawlt deine ganze Website in der Cloud und rendert jede einzelne Seite in Chrome. So hast du jede Woche den kompletten Stand, Seite für Seite.
Beispielwerte aus einem laufenden Projekt, Stand November 2026.
Was braucht es, um eine Website mit Millionen URLs zu crawlen?
Du brauchst einen Crawler in der Cloud, der jede Seite rendert und sich an das Tempo deiner IT hält. searchVIU bringt genau das mit.
- Millionen URLs in einem CrawlsearchVIU crawlt Websites mit Millionen URLs in der Google Cloud in der EU. Mehrere Millionen URLs jede Woche sind kein Problem.
- Jede Seite in Chrome gerendertJede einzelne Seite läuft durch Chrome. Du siehst, was Google nach dem JavaScript sieht.
- Das Tempo bestimmt deine ITWie viele Anfragen gleichzeitig laufen, ist je Projekt eingestellt und mit deiner IT abgestimmt. Je Anfrage schafft searchVIU rund 2 bis 3 gerenderte Seiten pro Minute.
Reicht ein Desktop-Crawler für eine große Website?
Für einzelne Analysen reicht er oft. Screaming Frog schreibt in der eigenen FAQ, die meisten modernen Rechner schafften auch Crawls mit Millionen URLs. Anders sieht es aus, wenn die ganze Website jede Woche mit JavaScript gecrawlt werden soll.
- GrößeLaut Hersteller ist der SEO Spider für Crawls unter 2 Mio. URLs empfohlen und schafft mit genug Arbeitsspeicher und Festplatte deutlich mehr.
- DauerFür 1 Mio. Seiten bei 5 URLs pro Sekunde nennt Screaming Frog über zwei Tage. In dieser Zeit muss der Rechner laufen.
- JavaScriptIm Standard crawlt der SEO Spider das rohe HTML. JavaScript-Crawling empfiehlt der Hersteller gezielt einzusetzen, weil es langsamer ist und mehr Ressourcen braucht.
Angaben aus der FAQ und den Anleitungen von Screaming Frog zum SEO Spider, abgerufen am 13.11.2026.
Screaming Frog und Alternativen im VergleichWie crawlst du eine große Website, ohne den Server zu überlasten?
Du begrenzt, wie viele Anfragen gleichzeitig an den Server gehen, stimmst diesen Wert mit der IT ab und lässt den Crawler langsamer werden, sobald der Server es verlangt. Die acht Schritte gelten für jeden Crawler. In jedem steht, wie searchVIU ihn umsetzt.
Kläre vor dem ersten Crawl, wie viele Anfragen gleichzeitig der Server verträgt und zu welchen Zeiten. Bei searchVIU gehört diese Abstimmung zum Start jedes Projekts.
Firewall und CDN sperren unbekannte Bots mit vielen Anfragen oft. searchVIU crawlt als searchVIUbot über die feste IP 35.190.196.200, die deine IT vorab freigibt.
Sperre, was nicht gecrawlt werden soll. searchVIUbot folgt seiner eigenen Gruppe, sonst den Regeln für Googlebot. Crawl-delay wertet er nicht aus. Das Tempo wird stattdessen je Projekt eingestellt.
Die Zahl gleichzeitiger Anfragen bestimmt die Last auf dem Server. In searchVIU ist sie je Projekt eingestellt, auf Wunsch mit einem festen Deckel für Anfragen pro Minute.
Lege den größten Teil des Crawls in Zeiten mit wenig Besuchern. searchVIU richtet dafür Zeitfenster ein, zum Beispiel tagsüber ein Zehntel der Anfragen und nachts das volle Tempo.
Mit HTTP 429 meldet ein Server zu viele Anfragen. Der ganze Crawl von searchVIU halbiert dann sein Tempo, bei jedem weiteren 429 erneut. Nach einer Minute ohne 429 steigt es schrittweise.
Der Header Retry-After nennt, wie lange ein Crawler warten soll. searchVIUbot pausiert so lange, höchstens 5 Minuten am Stück, und wiederholt eine URL höchstens 3-mal.
Für ein Wartungsfenster oder eine Lastspitze muss sich ein Crawl anhalten lassen. In searchVIU lässt sich ein laufender Crawl pausieren und später fortsetzen.
Wie lange dauert der Crawl einer großen Website?
Das hängt davon ab, wie viele Anfragen gleichzeitig dein Server verträgt und wie lange die Seiten zum Rendern brauchen. Je gleichzeitiger Anfrage schafft searchVIU rund 2 bis 3 gerenderte Seiten pro Minute. An eine eigene Grenze ist searchVIU dabei bisher nicht gestoßen. Meist macht die Website selbst ein langsameres Crawlen sinnvoll.
| Beispiel | Seiten pro Minute | 100.000 URLs | 1 Mio. URLs |
|---|---|---|---|
| 15 gleichzeitige Anfragen | rund 40 | rund 1,7 Tage | – |
| 70 gleichzeitige Anfragen | rund 135 | rund 12 Stunden | rund 5 Tage |
| Projekt mit hohem Tempo | rund 290 | rund 6 Stunden | rund 2,5 Tage |
Beispielwerte aus laufenden Projekten, Stand November 2026. Es sind Erfahrungswerte und keine Zusage.
Was liegt nach dem Crawl bereit?
Ist der Crawl durch, liegt jede URL gerendert, geprüft und nach Seitentyp sortiert vor dir. Website crawlen für die technische SEO-Analyse
Zum SEO Audit
Zur Prüfliste
Zu SEO Change Monitoring
Zum SEO Crawler
Zum SEO Data Warehouse
Zur Logfile-Analyse
Wo liegen die Daten aus dem Crawl?
searchVIU speichert deine Projektdaten in der EU, ist nach ISO/IEC 27001 zertifiziert und hat einen SOC-2-Type-2-Bericht. SEO-Crawler mit Daten in der EU im Vergleich
Der Crawl läuft jede Woche durch, und deine IT weiß, was auf dem Server ankommt.
- Kompletter Crawl abgeschlossenjede URL in Chrome gerendert
- Tempo wie abgestimmtkeine Antwort mit 429
- Keine neuen Funde im Crawlverglichen mit der Vorwoche
Häufige Fragen zum Crawlen großer Websites
Welcher SEO-Crawler eignet sich für Enterprise-Websites?
Für Websites mit Millionen URLs kommen vor allem Cloud-Crawler infrage. Botify, Lumar, Oncrawl und JetOctopus nennen auf ihren Seiten Crawls mit Millionen URLs und richten sich an Enterprise-Teams. Sitebulb Cloud nennt 10 Mio. URLs je Audit als Grenze. Screaming Frog empfiehlt seinen Desktop-Crawler für Crawls unter 2 Mio. URLs.
searchVIU crawlt große und komplexe Websites in der Cloud und rendert jede einzelne Seite in Chrome. Der komplette Crawl läuft jede Woche, deine Projektdaten bleiben in der EU, und das SEO-Monitoring kostet ab 399 € im Monat, 50.000 URLs inklusive. Einen Überblick gibt der Vergleich der Enterprise SEO Crawler.
Kann searchVIU Websites mit Millionen URLs crawlen?
Ja. searchVIU crawlt Websites mit Millionen URLs und rendert jede einzelne Seite in Chrome. Mehrere Millionen URLs jede Woche sind kein Problem, und eine Obergrenze gibt es nicht.
Rendert searchVIU bei großen Websites jede URL mit JavaScript?
Ja, searchVIU rendert jede einzelne Seite in Google Chrome, auch bei Millionen URLs. Du siehst je URL das rohe und das gerenderte HTML und erkennst, was JavaScript an Title, Canonical, Inhalt und Links ändert. Mehr dazu steht auf der Seite JavaScript SEO. Mehr zum Prüfen des JavaScript-Renderings
Kann ein SEO-Crawler meinen Server überlasten?
Ja, wenn er zu viele Anfragen gleichzeitig schickt. Screaming Frog schreibt in seiner Dokumentation, in sehr extremen Fällen könne ein Crawl einen Server zum Absturz bringen. Häufiger sperre heute ein Sicherheitssystem den Crawler.
searchVIU begrenzt deshalb die gleichzeitigen Anfragen je Projekt und stimmt den Wert mit deiner IT ab. Antwortet der Server mit HTTP 429, halbiert der Crawl sein Tempo. Bei 5xx wartet searchVIUbot 10 Sekunden, bevor er die URL erneut abruft. Wie deine IT den Crawler freigibt, steht in der Hilfe zu searchVIUbot in Firewall, WAF und CDN.
Wie lange dauert ein Crawl mit 1 Mio. URLs?
Mit den Werten aus laufenden Projekten sind es rund 2,5 bis 5 Tage. 70 gleichzeitige Anfragen ergeben rund 135 Seiten pro Minute, also rund 5 Tage für 1 Mio. URLs. Ein Projekt mit höherem Tempo läuft mit rund 290 Seiten pro Minute. Damit sind 1 Mio. URLs in rund 2,5 Tagen gecrawlt.
Das sind Beispielwerte vom November 2026 und keine Zusage. Wie schnell dein Crawl läuft, hängt davon ab, wie viele Anfragen gleichzeitig dein Server verträgt und wie lange die Seiten zum Rendern brauchen.
Was kostet der Crawl einer großen Website?
Das SEO-Monitoring kostet ab 399 € im Monat, 50.000 URLs inklusive. Das Rendering ist im SEO-Monitoring enthalten. Für größere Websites zeigt der Rechner auf der Preisseite Richtpreise bis 1 Mio. URLs, und darüber bekommst du ein Angebot. Alle Stufen stehen auf der Preisseite.
Lass uns über deine Website sprechen.
In der Demo zeigt dir Michael, wie searchVIU funktioniert. Dafür nutzen wir deine Website und ein Beispielprojekt.
- Anfrage in drei kurzen Schritten
- Kurze Abstimmung zu Crawler-Freigabe, NDA und Search Console
- Demo mit deiner Website und dem Beispielprojekt
- Start gemeinsam geplant und begleitet
Um welche Website geht es?
Bitte gib deine Website und deine geschäftliche E-Mail an.Für die Demo brauchen wir deine geschäftliche E-Mail. Ohne Firmenadresse kannst du unsere Gratis-Tools nutzen.
Was brauchst du?
Mehrfachauswahl möglich.
Wer bist du?
Wir nutzen deine Angaben nur für die Demo. Mehr dazu in der Datenschutzerklärung.
Ohne Häkchen beim Spamschutz können wir die Anfrage nicht senden.
Für die Demo brauchen wir deine geschäftliche E-Mail.Bitte prüf deine E-Mail-Adresse.Bitte gib deine Website an.Bitte prüf die Adresse deiner Website.Die Spam-Prüfung ließ sich nicht laden. Schreib uns bitte an info@searchviu.com.Das hat nicht geklappt. Schreib uns bitte an info@searchviu.com.

Danke, such dir jetzt einen Termin aus.
Im Kalender siehst du die freien Termine für die Abstimmung mit Michael.