Enterprise SEO Crawling Der SEO-Crawler für Websites mit Millionen URLs

searchVIU crawlt deine ganze Website in der Cloud und rendert jede einzelne Seite in Chrome. So hast du jede Woche den kompletten Stand, Seite für Seite.

Jede URL in Chrome gerendertauch bei Millionen URLsKompletter Crawljede Woche, dazwischen Page WatchFeste IP und eigene Kennungfür die Freigabe durch deine IT
Crawl-Profilbeispiel-shop.de · kompletter Crawl
Kennungeigene Regeln in der robots.txt möglichsearchVIUbot
IP-Adressefest, für Firewall und CDN35.190.196.200
Gleichzeitige Anfragenmit der IT abgestimmt70
Seiten pro Minutejede in Chrome gerendertrund 135
Bei HTTP 429Retry-After wird eingehaltenTempo halbieren

Beispielwerte aus einem laufenden Projekt, Stand November 2026.

Kurz gesagt

Was braucht es, um eine Website mit Millionen URLs zu crawlen?

Du brauchst einen Crawler in der Cloud, der jede Seite rendert und sich an das Tempo deiner IT hält. searchVIU bringt genau das mit.

    • Millionen URLs in einem CrawlsearchVIU crawlt Websites mit Millionen URLs in der Google Cloud in der EU. Mehrere Millionen URLs jede Woche sind kein Problem.
    • Jede Seite in Chrome gerendertJede einzelne Seite läuft durch Chrome. Du siehst, was Google nach dem JavaScript sieht.
    • Das Tempo bestimmt deine ITWie viele Anfragen gleichzeitig laufen, ist je Projekt eingestellt und mit deiner IT abgestimmt. Je Anfrage schafft searchVIU rund 2 bis 3 gerenderte Seiten pro Minute.
    Cloud oder Desktop

    Reicht ein Desktop-Crawler für eine große Website?

    Für einzelne Analysen reicht er oft. Screaming Frog schreibt in der eigenen FAQ, die meisten modernen Rechner schafften auch Crawls mit Millionen URLs. Anders sieht es aus, wenn die ganze Website jede Woche mit JavaScript gecrawlt werden soll.

    • GrößeLaut Hersteller ist der SEO Spider für Crawls unter 2 Mio. URLs empfohlen und schafft mit genug Arbeitsspeicher und Festplatte deutlich mehr.
    • DauerFür 1 Mio. Seiten bei 5 URLs pro Sekunde nennt Screaming Frog über zwei Tage. In dieser Zeit muss der Rechner laufen.
    • JavaScriptIm Standard crawlt der SEO Spider das rohe HTML. JavaScript-Crawling empfiehlt der Hersteller gezielt einzusetzen, weil es langsamer ist und mehr Ressourcen braucht.

    Angaben aus der FAQ und den Anleitungen von Screaming Frog zum SEO Spider, abgerufen am 13.11.2026.

    Screaming Frog und Alternativen im Vergleich
    Anleitung

    Wie crawlst du eine große Website, ohne den Server zu überlasten?

    Du begrenzt, wie viele Anfragen gleichzeitig an den Server gehen, stimmst diesen Wert mit der IT ab und lässt den Crawler langsamer werden, sobald der Server es verlangt. Die acht Schritte gelten für jeden Crawler. In jedem steht, wie searchVIU ihn umsetzt.

    1Tempo mit der IT abstimmen

    Kläre vor dem ersten Crawl, wie viele Anfragen gleichzeitig der Server verträgt und zu welchen Zeiten. Bei searchVIU gehört diese Abstimmung zum Start jedes Projekts.

    2Crawler erkennbar machen

    Firewall und CDN sperren unbekannte Bots mit vielen Anfragen oft. searchVIU crawlt als searchVIUbot über die feste IP 35.190.196.200, die deine IT vorab freigibt.

    3robots.txt prüfen

    Sperre, was nicht gecrawlt werden soll. searchVIUbot folgt seiner eigenen Gruppe, sonst den Regeln für Googlebot. Crawl-delay wertet er nicht aus. Das Tempo wird stattdessen je Projekt eingestellt.

    4Gleichzeitige Anfragen begrenzen

    Die Zahl gleichzeitiger Anfragen bestimmt die Last auf dem Server. In searchVIU ist sie je Projekt eingestellt, auf Wunsch mit einem festen Deckel für Anfragen pro Minute.

    5Tempo nach Uhrzeit staffeln

    Lege den größten Teil des Crawls in Zeiten mit wenig Besuchern. searchVIU richtet dafür Zeitfenster ein, zum Beispiel tagsüber ein Zehntel der Anfragen und nachts das volle Tempo.

    6Bei 429 langsamer werden

    Mit HTTP 429 meldet ein Server zu viele Anfragen. Der ganze Crawl von searchVIU halbiert dann sein Tempo, bei jedem weiteren 429 erneut. Nach einer Minute ohne 429 steigt es schrittweise.

    7Retry-After einhalten

    Der Header Retry-After nennt, wie lange ein Crawler warten soll. searchVIUbot pausiert so lange, höchstens 5 Minuten am Stück, und wiederholt eine URL höchstens 3-mal.

    8Crawl pausieren können

    Für ein Wartungsfenster oder eine Lastspitze muss sich ein Crawl anhalten lassen. In searchVIU lässt sich ein laufender Crawl pausieren und später fortsetzen.

    Zur Dokumentation von searchVIUbot
    Rechenbeispiel

    Wie lange dauert der Crawl einer großen Website?

    Das hängt davon ab, wie viele Anfragen gleichzeitig dein Server verträgt und wie lange die Seiten zum Rendern brauchen. Je gleichzeitiger Anfrage schafft searchVIU rund 2 bis 3 gerenderte Seiten pro Minute. An eine eigene Grenze ist searchVIU dabei bisher nicht gestoßen. Meist macht die Website selbst ein langsameres Crawlen sinnvoll.

    BeispielSeiten pro Minute100.000 URLs1 Mio. URLs
    15 gleichzeitige Anfragenrund 40rund 1,7 Tage–
    70 gleichzeitige Anfragenrund 135rund 12 Stundenrund 5 Tage
    Projekt mit hohem Temporund 290rund 6 Stundenrund 2,5 Tage

    Beispielwerte aus laufenden Projekten, Stand November 2026. Es sind Erfahrungswerte und keine Zusage.

    Nach dem Crawl

    Was liegt nach dem Crawl bereit?

    Ist der Crawl durch, liegt jede URL gerendert, geprüft und nach Seitentyp sortiert vor dir. Website crawlen für die technische SEO-Analyse

    Auswertung je SeitentypDas Cockpit „SEO Issues“ zeigt dir die Funde als Arbeitsliste je Seitentyp.
    Zum SEO Audit
    Über 100 PrüfungenJede URL durchläuft über 100 Prüfungen, sortiert nach betroffenen Seiten und Klicks.
    Zur Prüfliste
    Wöchentlicher Crawl plus Page WatchDer komplette Crawl läuft jede Woche. Dazwischen prüft Page Watch die wichtigsten Seiten kontinuierlich, über den Tag verteilt.
    Zu SEO Change Monitoring
    Crawl-HistorieJeder Crawl bleibt gespeichert, im Standard mit HTML und Screenshot je URL für sechs Monate. So vergleichst du jede Woche mit der davor.
    Zum SEO Crawler
    SEO Data WarehouseDie Crawl-Daten liegen je URL verknüpft mit Search Console und GA4 in BigQuery in der EU. Direkten Zugriff auf BigQuery gibt es auf Anfrage.
    Zum SEO Data Warehouse
    Logfile-AnalyseDas Zusatzmodul zeigt, welche URLs Googlebot und KI-Bots wirklich abrufen und wo Crawl-Budget verloren geht.
    Zur Logfile-Analyse
    Sicherheit

    Wo liegen die Daten aus dem Crawl?

    searchVIU speichert deine Projektdaten in der EU, ist nach ISO/IEC 27001 zertifiziert und hat einen SOC-2-Type-2-Bericht. SEO-Crawler mit Daten in der EU im Vergleich

    Mehr zur Sicherheit
    Jede Woche

    Der Crawl läuft jede Woche durch, und deine IT weiß, was auf dem Server ankommt.

    • Kompletter Crawl abgeschlossenjede URL in Chrome gerendert
    • Tempo wie abgestimmtkeine Antwort mit 429
    • Keine neuen Funde im Crawlverglichen mit der Vorwoche
    KW 46 · alles ruhig

    Häufige Fragen zum Crawlen großer Websites

    Welcher SEO-Crawler eignet sich für Enterprise-Websites?

    Für Websites mit Millionen URLs kommen vor allem Cloud-Crawler infrage. Botify, Lumar, Oncrawl und JetOctopus nennen auf ihren Seiten Crawls mit Millionen URLs und richten sich an Enterprise-Teams. Sitebulb Cloud nennt 10 Mio. URLs je Audit als Grenze. Screaming Frog empfiehlt seinen Desktop-Crawler für Crawls unter 2 Mio. URLs.

    searchVIU crawlt große und komplexe Websites in der Cloud und rendert jede einzelne Seite in Chrome. Der komplette Crawl läuft jede Woche, deine Projektdaten bleiben in der EU, und das SEO-Monitoring kostet ab 399 € im Monat, 50.000 URLs inklusive. Einen Überblick gibt der Vergleich der Enterprise SEO Crawler.

    Kann searchVIU Websites mit Millionen URLs crawlen?

    Ja. searchVIU crawlt Websites mit Millionen URLs und rendert jede einzelne Seite in Chrome. Mehrere Millionen URLs jede Woche sind kein Problem, und eine Obergrenze gibt es nicht.

    Rendert searchVIU bei großen Websites jede URL mit JavaScript?

    Ja, searchVIU rendert jede einzelne Seite in Google Chrome, auch bei Millionen URLs. Du siehst je URL das rohe und das gerenderte HTML und erkennst, was JavaScript an Title, Canonical, Inhalt und Links ändert. Mehr dazu steht auf der Seite JavaScript SEO. Mehr zum Prüfen des JavaScript-Renderings

    Kann ein SEO-Crawler meinen Server überlasten?

    Ja, wenn er zu viele Anfragen gleichzeitig schickt. Screaming Frog schreibt in seiner Dokumentation, in sehr extremen Fällen könne ein Crawl einen Server zum Absturz bringen. Häufiger sperre heute ein Sicherheitssystem den Crawler.

    searchVIU begrenzt deshalb die gleichzeitigen Anfragen je Projekt und stimmt den Wert mit deiner IT ab. Antwortet der Server mit HTTP 429, halbiert der Crawl sein Tempo. Bei 5xx wartet searchVIUbot 10 Sekunden, bevor er die URL erneut abruft. Wie deine IT den Crawler freigibt, steht in der Hilfe zu searchVIUbot in Firewall, WAF und CDN.

    Wie lange dauert ein Crawl mit 1 Mio. URLs?

    Mit den Werten aus laufenden Projekten sind es rund 2,5 bis 5 Tage. 70 gleichzeitige Anfragen ergeben rund 135 Seiten pro Minute, also rund 5 Tage für 1 Mio. URLs. Ein Projekt mit höherem Tempo läuft mit rund 290 Seiten pro Minute. Damit sind 1 Mio. URLs in rund 2,5 Tagen gecrawlt.

    Das sind Beispielwerte vom November 2026 und keine Zusage. Wie schnell dein Crawl läuft, hängt davon ab, wie viele Anfragen gleichzeitig dein Server verträgt und wie lange die Seiten zum Rendern brauchen.

    Was kostet der Crawl einer großen Website?

    Das SEO-Monitoring kostet ab 399 € im Monat, 50.000 URLs inklusive. Das Rendering ist im SEO-Monitoring enthalten. Für größere Websites zeigt der Rechner auf der Preisseite Richtpreise bis 1 Mio. URLs, und darüber bekommst du ein Angebot. Alle Stufen stehen auf der Preisseite.

    Demo

    Lass uns über deine Website sprechen.

    In der Demo zeigt dir Michael, wie searchVIU funktioniert. Dafür nutzen wir deine Website und ein Beispielprojekt.

    1. Anfrage in drei kurzen Schritten
    2. Kurze Abstimmung zu Crawler-Freigabe, NDA und Search Console
    3. Demo mit deiner Website und dem Beispielprojekt
    4. Start gemeinsam geplant und begleitet
    1. Website
    2. Bedarf
    3. Kontakt

    Um welche Website geht es?