Cloud-Crawler für große Websites Enterprise SEO Crawler im Vergleich

Sechs Cloud-Crawler für Websites mit Millionen URLs, verglichen nach Crawl, Auswertung, Alerting und Datensicherheit. Mit Herstellerangaben und Quellen, Stand 16.11.2026.

searchVIU ist einer der Crawler in diesem Vergleich. Wie wir verglichen haben und woher die Angaben stammen, steht weiter unten auf der Seite.

Ein Enterprise SEO Crawler ruft Websites mit Hunderttausenden bis Millionen URLs vollständig ab, rendert JavaScript und läuft in der Cloud nach festem Zeitplan. In großen Unternehmen zählt auch, was nach dem Crawl kommt. Das Team wertet die Daten nach Seitentypen aus und bekommt Alerts bei Änderungen. Einkauf und IT fragen nach Datenstandort und Zertifikaten. Diese Seite vergleicht sechs Cloud-Crawler nach diesen Kriterien, nämlich searchVIU, Lumar, Botify, Oncrawl, JetOctopus und Audisto.

Die Suche nach einem solchen Crawler beginnt meist an derselben Stelle. Der Crawl auf dem eigenen Rechner dauert Tage, das Rendering bremst, und die IT fragt, wer da mit welchem Tempo auf den Server zugreift. Dann zählen andere Fragen als beim Audit einer kleinen Website. Wie groß darf ein Crawl werden, was kostet das Rendering, wie genau lässt sich das Tempo begrenzen, und was passiert zwischen zwei Crawls?

Screaming Frog und Sitebulb sind für das einzelne Audit gebaut und stehen deshalb nicht in der Liste. Wann sie reichen, steht im Abschnitt Cloud oder Desktop.

Alle Zahlen zu anderen Anbietern sind Herstellerangaben, Stand 16.11.2026. Du suchst eher eine Suite mit Rankings, Content und KI-Sichtbarkeit? Die vergleichen wir auf der Seite Enterprise-SEO-Plattformen im Vergleich.

Kurz gesagt

Du willst die ganze Website jede Woche in der Cloud crawlen, jede URL gerendert, und wichtige Seiten auch zwischen den Crawls prüfen.searchVIU, Botify
SEO-Prüfungen sollen in der CI/CD-Pipeline laufen und einen Build stoppen können.Lumar
Du willst Logfiles auswerten und mit den Crawl-Daten zusammenbringen.Botify, Oncrawl, JetOctopus, searchVIU
Du willst die Preise vor dem ersten Gespräch kennen.JetOctopus, Audisto, searchVIU
Die Daten sollen in der EU liegen, und dein Einkauf verlangt ISO 27001 oder SOC 2.searchVIU, Oncrawl, Botify
Du brauchst eigene Prüfregeln, selbst geschrieben oder für dich eingerichtet.Audisto, searchVIU
Deine Website hat unter 500.000 URLs, und du machst Audits selbst am eigenen Rechner.Screaming Frog, Sitebulb

Was muss ein Enterprise SEO Crawler können?

Fest definiert ist der Begriff nicht. In der Praxis entscheiden zehn Kriterien, ob ein Crawler zu einer großen Website und zu einem großen Unternehmen passt. Sie reichen vom Crawl selbst über Auswertung und Alerting bis zur Datensicherheit.

  • Größe. Der Crawler schafft die ganze Website in einem Lauf, auch bei Millionen URLs. Frag nach, ob ein Monatskontingent begrenzt, wie oft du crawlen kannst.
  • JavaScript-Rendering. Google rendert Seiten mit einer aktuellen Chromium-Version, das beschreibt die Dokumentation von Google Search Central. Ein Crawler sollte das ebenfalls tun und Quelltext und gerenderte Seite vergleichen. Bei mehreren Anbietern verbraucht Rendering zusätzliches Kontingent.
  • Tempo und Steuerung. Die meisten Server vertragen weniger Anfragen, als ein Crawler senden kann. Wichtig ist deshalb, wie genau sich das Tempo begrenzen lässt und wie der Crawler auf Fehler des Servers reagiert.
  • Geplante Crawls und Monitoring. Ein einzelner Crawl ist eine Momentaufnahme. Im laufenden Betrieb brauchst du feste Termine für den kompletten Crawl und eine Prüfung der wichtigsten Seiten dazwischen.
  • Auswertung. Bei Millionen URLs zählt, wie sich Befunde bündeln lassen. Ein Enterprise-Crawler wertet nach Seitentyp oder Segment aus, zeigt den Verlauf über alle Crawls und lässt eigene Prüfregeln zu.
  • Alerting. Ein Alert sollte sagen, was sich geändert hat und wie viele Seiten betroffen sind. Frag nach, wann Alerts ausgelöst werden, über welche Kanäle sie kommen und ob Regeln je Segment möglich sind.
  • Logfiles und Crawl-Budget. Logfiles zeigen, welche URLs Googlebot und KI-Bots wirklich abrufen. Zusammen mit dem Crawl siehst du, welche Seitentypen und Parameter-URLs Abrufe binden. Google richtet seinen Leitfaden zum Crawl-Budget an große Websites, als grober Richtwert gelten dort eine Million Seiten und mehr.
  • Integrationen und Data Warehouse. Mit Daten aus Search Console und Analytics lässt sich jede URL nach Klicks gewichten. Große Teams werten die Rohdaten außerdem im eigenen Data Warehouse aus, zum Beispiel in BigQuery.
  • Datensicherheit. Einkauf und IT fragen, wo die Daten liegen, wer sie verarbeitet und welche Nachweise der Anbieter hat, zum Beispiel ISO 27001 oder SOC 2. Klär das früh, weil es in großen Unternehmen über die Freigabe entscheidet. Datenstandort und Zertifikate von 14 Anbietern zeigt die Seite SEO-Crawler mit Daten in der EU.
  • Preis. Viele Anbieter nennen keine Preise. Klär, was gezählt wird. Das können URLs je Crawl oder je Monat sein, gerenderte Seiten, Logzeilen oder Nutzer.

Wo searchVIU steht

searchVIU crawlt Websites mit Millionen URLs und rendert jede einzelne Seite in Chrome. Mehrere Millionen URLs jede Woche sind kein Problem. Der komplette Crawl läuft jede Woche, und dazwischen prüft Page Watch die wichtigsten Seiten kontinuierlich, über den Tag verteilt. Jeder Crawl wird nach Seitentyp ausgewertet, mit über 100 Prüfungen je URL und über 80 Standard-Reports. Alerts sind nach Google-Klicks gewichtet, und eigene Prüfregeln und Reports richtet searchVIU für dein Team ein. Das Tempo stimmt searchVIU mit deiner IT ab. Die Projektdaten liegen in der EU, mit ISO 27001 und SOC 2 Type 2.

Die sechs Crawler

Jede Karte hat dieselben Felder. Die Angaben stammen von den Websites, Preisseiten und Dokumentationen der Anbieter. Unter jeder Karte steht, wie das Tool als Crawler für große Websites einzuordnen ist.

searchVIU

Von uns

Cloud-Crawler und SEO-Monitoring für komplexe Websites, gegründet 2016. Dazu gehören Relaunch-Abgleich, Reports und Daten-Beratung.

ArbeitsweiseWöchentlicher Cloud-Crawl der ganzen Website plus laufende Prüfung der wichtigsten SeitenMDMDFSS
Preisab 399 € im Monat, 50.000 URLs inklusive
DatenProjektdaten in der EU, ISO/IEC 27001:2022, SOC 2 Type 2
searchVIU: Übersicht der SEO-Issues im Demo-Projekt
searchVIU, Issue-Übersicht im Demo-Projekt

Stärken

  • Cloud-Crawler, der jede Woche die ganze Website inklusive JavaScript crawlt, auf Wunsch öfter. Das geht auch bei Millionen URLs je Projekt, ohne feste Obergrenze.
  • Jeder Crawl ist zugleich ein vollständiger Audit mit über 100 Prüfungen je URL. searchVIU rendert jede URL in Chrome und vergleicht den Quelltext mit der gerenderten Seite.
  • Zwischen den Crawls prüft Page Watch die wichtigsten Seiten kontinuierlich, über den Tag verteilt, mit über 40 Signalen je Seite. Geprüft werden so viele Seiten, wie das Projekt braucht, ausgewählt nach Search-Console-Daten und Backlinks. In der kleinsten Stufe sind die 1.000 wichtigsten enthalten. Erkennt Page Watch eine Änderung, folgt vor dem Alert ein zweiter Abruf der Seite. Die Meldung kommt in der Regel nach wenigen Minuten.
  • Die robots.txt prüft searchVIU alle 15 Minuten, Sitemaps täglich. Alerts sind gewichtet nach Anteil betroffener URLs und Search-Console-Klicks und kommen per E-Mail, Slack, Teams oder Webhook. Eigene Regeln je Segment richtet searchVIU ein.
  • Die Staging-Umgebung crawlt searchVIU regelmäßig mit allen Prüfungen, auch hinter Passwortschutz. Ein Crawl lässt sich per Webhook aus dem Release-Ablauf anstoßen.

Grenzen

  • Laufend prüft searchVIU die wichtigsten Seiten. Alle übrigen prüft der komplette Crawl, im Standard einmal pro Woche, auf Wunsch öfter.
  • Alerts auf der Staging-Umgebung sind noch im Pilot.

Passt für Inhouse-SEO-Teams komplexer Websites, auch Agenturen.

Zusatzmodule KI-Sichtbarkeit ab 199 € im Monat mit 300 Prompts inklusive, Logfile-Analyse ab 199 €, Rank Tracking ab 99 € mit 500 Keywords je Markt, jeweils nur zusammen mit dem SEO-Monitoring. Migration Pack ab 1.999 € einmalig. robots.txt- und llms.txt-Monitoring gehören zum SEO-Monitoring.

Beratung Bis 250.000 URLs: 30 Minuten im Monat mit dem Team
Ab 250.000 URLs: eine Stunde im Monat mit Senior-Consultant

Nachprüfen Liste aller Prüfungen, Alert-Liste, Preisrechner, searchVIUbot und Trust Center mit den Nachweisen zu ISO/IEC 27001 und SOC 2

Details zu searchVIU
Preis
Öffentlich, netto. Ab 399 € im Monat, 50.000 URLs inklusive. Enthalten sind der wöchentliche komplette Crawl inklusive JavaScript mit über 100 Prüfungen, Page Watch für die 1.000 wichtigsten Seiten, Alerts, robots.txt-, XML-Sitemap- und llms.txt-Monitoring, über 80 Standard-Reports, Einrichtung und Daten-Beratung. Zusätzliche Nutzer kosten nichts extra. Größere Websites laufen nach Staffel, und Page Watch wächst mit der Stufe. Richtpreise zeigt der Rechner auf der Preisseite.
Besonders bei searchVIU
Das robots.txt-Monitoring zeigt je Bot, welche URLs gesperrt sind und wie viele Google-Klicks diese Seiten bringen. Dazu kommt der Vorher-Nachher-Abgleich je URL beim Relaunch, gewichtet mit Klicks.
Sicherheit
ISO/IEC 27001:2022, SOC 2 Type 2, Projektdaten in der EU (Google Cloud). Kein KI-Training mit Kundendaten.

Als Enterprise-Crawler searchVIU crawlt Websites mit Millionen URLs und rendert jede einzelne Seite in Chrome. Mehrere Millionen URLs jede Woche sind kein Problem. Das Tempo stimmt searchVIU mit deiner IT ab, der Crawler kommt als searchVIUbot von der festen IP 35.190.196.200.

SEO Crawler von searchVIU

Lumar

Cloud-Plattform für technische Website-Gesundheit großer Websites, früher Deepcrawl.

ArbeitsweiseGeplante CrawlsMDMDFSS
Preisnicht öffentlich
DatenAWS, Region nicht genannt

Stärken

  • Sehr schnelle Crawls mit JavaScript-Rendering, planbar bis stündlich.
  • Protect prüft SEO-Regeln in der CI/CD-Pipeline und kann einen Build stoppen.
  • KI-Sichtbarkeit in sechs Engines, MCP-Server zum Lesen und Handeln.

Grenzen

  • Kein laufendes Seiten-Monitoring, kein eigenes robots.txt-Monitoring. Ersatz sind häufige Crawls, die das URL-Kontingent belasten.
  • HTML und Screenshots kosten Credits und bleiben 90 Tage gespeichert. Sieben Crawls bleiben aktiv.
  • Kein Rank Tracking, kein Redirect-Mapping. Oberfläche und Service auf Englisch.

Passt für Enterprise-Teams und Marken mit mehreren Domains, die SEO-Prüfungen in den Entwicklungsprozess einbauen wollen.

Details zu Lumar
Preis
Nicht öffentlich. Preis nach Bedarf mit URL-Kontingent je Abrechnungszeitraum, Zusatzfunktionen wie gespeichertes HTML verbrauchen Credits. Einstieg über eine Demo.
Besonders bei Lumar
Protect, Tests in der CI/CD-Pipeline mit Build-Stopp.
Sicherheit
SOC 2 Type 2, SAML-SSO, IP-Allowlist. Hosting bei AWS, Region nicht genannt.

Als Enterprise-Crawler Lumar nennt bis 450 URLs pro Sekunde ohne und 350 mit Rendering. Laut Hersteller sind das Testwerte von 2022, und sie gelten nur, soweit die Infrastruktur der Website mitmacht. Eine Obergrenze für die Crawl-Größe nennt Lumar nicht, abgerechnet wird über ein URL-Kontingent je Abrechnungszeitraum.

Lumar-Alternativen im Vergleich

Botify

Plattform für Crawling, Logfile-Analyse und das Ausspielen von SEO-Änderungen, mit KI-Sichtbarkeit. Das Monitoring AlertPanel gibt es voll ab dem Plan Growth.

ArbeitsweiseGeplante Crawls, URL-Liste täglichMDMDFSS
Preisnicht öffentlich
Datennicht veröffentlicht

Stärken

  • LogAnalyzer als Kernmodul, mit vielen Logquellen und bis zu 36 Monaten Daten.
  • PageWorkers spielt Änderungen ohne Entwickler aus.
  • Export nach BigQuery, GCS, S3 und Redshift.

Grenzen

  • AlertPanel prüft eine URL-Liste einmal in 24 Stunden.
  • Eigene Alerts brauchen mindestens fünf Crawls als Basis, kein Webhook.
  • Rankings nur aus Search-Console-Daten, kein klassisches Rank Tracking.

Passt für Große Websites mit Schwerpunkt E-Commerce, Travel und Publishing.

Details zu Botify
Preis
Nicht öffentlich. Fünf Pläne, AlertPanel voll ab Growth. Einen Testzugang nennt Botify nicht.
Besonders bei Botify
SpeedWorkers liefert vorgerenderte Seiten an Bots aus.
Sicherheit
SOC 2, SSO in Enterprise-Plänen, Hosting-Standort nicht veröffentlicht.

Als Enterprise-Crawler Botify crawlt laut Produktseite Millionen Seiten in einem Crawl. Die Zahl von 25 Mio. Seiten je Crawl stammt aus einer Meldung von 2017, der Vertragsanhang von 2026 nennt Monatskontingente von 2 Mio. bis 50 Mio. Seiten je Plan. JavaScript führt der Anhang als Option, die der Account Manager freischaltet.

Oncrawl

Französische Cloud-Plattform für Crawl und Logfile-Analyse, seit 2022 Teil von BrightEdge.

ArbeitsweiseGeplante CrawlsMDMDFSS
Preisnicht öffentlich
DatenGoogle Cloud, EU-Hosting als Option

Stärken

  • Log Analyzer liest Logs laufend aus Cloudflare, Google Cloud, AWS, Azure oder per Upload, ohne Stichproben.
  • Verknüpft Crawl, Logs, Search Console, GA4 und eigene Datensätze wie Umsatz. Mit eigener Abfragesprache und Export ins Data Warehouse.
  • Alerts mit Schwellen nach Seitenzahl, per E-Mail sowie Webhook für Slack und Teams. Dazu AI Assistant und MCP-Server, die Daten lesen und Crawls starten.

Grenzen

  • Alerts prüft Oncrawl am Ende eines Crawls. Monitoring von robots.txt und Sitemaps ist nicht dokumentiert.
  • KI-Sichtbarkeit nur über Bot-Besuche in den Logs, ohne Prompt-Abfragen. Kein Rank Tracking.
  • Keine öffentlichen Preise, kein Testzugang dokumentiert.

Passt für Enterprise-SEO-Teams in E-Commerce und Medien mit hohem Log-Volumen, die Daten selbst verknüpfen wollen.

Details zu Oncrawl
Preis
Nicht öffentlich. Einstieg über eine Demo.
Besonders bei Oncrawl
Die AI Search Lens zählt KI-Zitate aus Logdaten, also Besuche von KI-User-Bots, und führt sie bis zum Traffic weiter.
Sicherheit
ISO 27001, SOC 2 Type I und II, AVV verfügbar. Google Cloud, EU-Hosting als Option. SSO nicht genannt.

Als Enterprise-Crawler Oncrawl wirbt mit Millionen URLs ohne künstliche Grenzen bei Tempo, Tiefe und Größe. Abgerechnet wird über ein monatliches Token-Kontingent, und ein Crawl mit JavaScript verbraucht laut Hilfe das Dreifache. Eine Tempo-Zahl nennt Oncrawl nicht, die Hilfe empfiehlt 2 bis 5 URLs pro Sekunde.

JetOctopus

Cloud-Plattform aus Estland für technisches SEO großer Websites. Crawler, Log Analyzer und Search-Console-Daten in einem Produkt.

ArbeitsweiseGeplante Crawls, Logs je nach Quelle laufendMDMDFSS
Preisab 299 € im Monat, 500.000 URLs
DatenStandort nicht genannt

Stärken

  • Crawl, Logs, Search Console und GA4 in einem Produkt. Alle Module in jedem Plan, beliebig viele Projekte und Nutzer.
  • Logs aus Cloudflare, Fastly, Akamai, CloudFront, Vercel, Shopify und weiteren Quellen. Reverse DNS prüft Googlebot und KI-Bots.
  • Alerts aus Logs, Crawls, Search Console und Core Web Vitals, per E-Mail, Slack oder Teams. MCP-Server in allen Plänen, liest Daten und startet Crawls.

Grenzen

  • Kontingent von 500.000 bis 5 Mio. Crawl-URLs im Monat, darüber auf Anfrage.
  • Crawl-Alerts folgen dem Crawl-Zeitplan. Einen eigenen Takt für robots.txt oder Sitemaps beschreibt JetOctopus nicht.
  • Serverstandort und Zertifizierungen nennt JetOctopus nicht. Kein Rank Tracking gefunden.

Passt für Technische SEO-Teams großer Websites und Agenturen, die Crawl und Logs zu öffentlichen Preisen wollen.

Details zu JetOctopus
Preis
Öffentlich, in Euro und Dollar. Growth 299 oder 399 € (500.000 URLs), Pro 699 oder 949 € (2 Mio.), Ultra 1.359 oder 1.799 € (5 Mio.) im Monat, je nach Zahlweise. Ob netto oder brutto, steht nicht dabei. 7 Tage Test mit 10.000 URLs ohne Kreditkarte.
Besonders bei JetOctopus
Log-Alerts laufen unabhängig vom Crawl, und Crawl-, Log- und Search-Console-Daten lassen sich je URL verknüpfen.
Sicherheit
Firma in Tallinn, DSGVO laut Datenschutzerklärung. IP-Adressen aus Logs speichert JetOctopus nur bei User-Agents mit dem Wort „bot“. Serverstandort und Zertifizierungen nennt die Website nicht, NDA auf Anfrage.

Als Enterprise-Crawler JetOctopus nennt bis 250 Seiten pro Sekunde und auf der Enterprise-Seite Crawls mit 10, 50 und über 100 Mio. Seiten. Die öffentlichen Pläne enthalten 500.000 bis 5 Mio. URLs im Monat, eine gerenderte Seite zählt dabei als zwei. Die Logfile-Analyse steckt in jedem Plan.

Audisto

Cloud-Crawler aus Gernsbach mit Monitoring über geplante Crawls und eigene Tests.

ArbeitsweiseGeplante CrawlsMDMDFSS
PreisMonitoring ab 199 € im Monat (10.000 Seiten)
DatenEU, Standort nicht genannt

Stärken

  • Eigene Tests mit Regex, XPath oder CSS, mit Schwellenwerten für Alerts.
  • Voll-Crawl im Monitoring-Tarif bis stündlich planbar, im Crawler-Tarif täglich. JavaScript-Rendering in allen Tarifen.
  • Viel Analyse-Tiefe mit 205 Hinweisen und PageRank- und CheiRank-Analyse. Preise in Euro öffentlich.

Grenzen

  • Zwischen zwei Crawls prüft Audisto nichts. Alerts laut Doku nur per E-Mail.
  • Keine Search-Console-Anbindung, keine Logfiles, kein KI-Thema.
  • Im Detail bleiben je nach Tarif drei bis fünf Crawls.

Passt für Technische SEOs und QA-Teams großer Websites, die genau festlegen wollen, was geprüft wird.

Details zu Audisto
Preis
Öffentlich, netto, nur für Geschäftskunden. Monitoring ab 199 € im Monat mit 10.000 Seiten je Crawl, mit 50.000 Seiten 439 €. Den Crawler allein gibt es ab 99 € im Monat. Einen Testzugang nennt Audisto nicht.
Besonders bei Audisto
Frei programmierbare Prüfregeln, PageRank- und CheiRank-Analyse.
Sicherheit
AVV für alle Kunden, EU-Rechenzentren (Standort nicht genannt). Keine Zertifizierung genannt.

Als Enterprise-Crawler Audisto crawlt laut Hersteller 20 Mio. HTML-Seiten und mehr, mit bis 300 URLs pro Sekunde und ohne Credit-System. JavaScript-Rendering ist in allen Tarifen enthalten. Logfiles und die Search Console bindet Audisto nicht an.

Die sechs Crawler nach Kriterien

Die Tabellen zeigen die Crawler in derselben Reihenfolge wie die Karten. Die Angaben zu anderen Anbietern stammen von deren Websites, Preisseiten und Dokumentationen, Stand 16.11.2026. Die wichtigsten Quellen stehen am Ende der Seite. „Nicht dokumentiert“ heißt, dass auf den öffentlichen Seiten des Anbieters dazu nichts stand.

Arbeitsweise, Größe und JavaScript-Rendering

CrawlerArbeitsweiseGrößenordnung laut HerstellerJavaScript-Rendering und was es kostet
searchVIU (Von uns)Cloud. Kompletter Crawl jede Woche, dazwischen prüft Page Watch die wichtigsten Seiten.Websites mit Millionen URLs, eine Obergrenze gibt es nicht. Mehrere Millionen URLs jede Woche sind kein Problem.Jede URL wird in Chrome gerendert. Das Rendering ist im SEO-Monitoring enthalten.
LumarCloud. Geplante Crawls, laut FAQ bis stündlich.Websites mit „hundreds of thousands (or millions) of pages“. Eine Obergrenze nennt Lumar nicht, abgerechnet wird über ein URL-Kontingent je Abrechnungszeitraum.Rendering mit der Rendering-Engine von Google laut Crawler-Seite. Ob gerenderte Seiten mehr Kontingent verbrauchen, ist nicht dokumentiert.
BotifyCloud. Geplante Crawls, laut Vertragsanhang je Plan von zweimal im Monat bis täglich.„Millions of pages in a single crawl“ laut Produktseite. Eine Meldung von 2017 nennt 25 Mio. Seiten je Crawl, der Vertragsanhang von 2026 Monatskontingente von 2 Mio. bis 50 Mio. Seiten je Plan.Dieselbe Rendering-Engine wie Googlebot laut Produktseite. JavaScript ist laut Vertragsanhang eine Option, die der Account Manager freischaltet. Was sie kostet, ist nicht dokumentiert.
OncrawlCloud. Geplante Crawls, die Häufigkeit legst du je Crawl-Konfiguration fest.„Millions of URLs without artificial limits“ laut Crawler-Seite. Abgerechnet wird über ein monatliches Token-Kontingent.Rendering „at any scale“ laut Crawler-Seite. Ein Crawl mit JavaScript verbraucht laut Hilfe das Dreifache an Crawl-Tokens.
JetOctopusCloud. Geplante Crawls, Logs laufen unabhängig davon ein.„10M, 50M, 100M+ pages“ laut Enterprise-Seite. Die öffentlichen Pläne enthalten 500.000 bis 5 Mio. URLs im Monat, darüber gibt es den Plan Unlimited auf Anfrage.Rendering wie Googlebot laut Hersteller. Eine gerenderte Seite zählt laut FAQ als zwei gecrawlte Seiten.
AudistoCloud. Geplante Crawls, im Monitoring-Tarif bis stündlich, im Crawler-Tarif täglich.„20 million HTML pages or more“ laut Crawler-Seite, ohne Credit-System.In beiden Tarifen enthalten.

Tempo, Logfiles und Daten

Tempo-Angaben der Hersteller sind Höchstwerte. In der Praxis begrenzt meist der Server der Website, wie schnell ein Crawl laufen darf.

CrawlerTempo und SteuerungLogfilesDaten und Export
searchVIU (Von uns)Die Zahl gleichzeitiger Anfragen stellt searchVIU je Projekt ein und stimmt sie mit deiner IT ab. Antwortet der Server mit HTTP 429, halbiert der Crawl sein Tempo. Eine Staffelung nach Uhrzeit und ein fester Deckel für Anfragen pro Minute sind möglich.Logfile-Analyse für Googlebot und KI-Bots als Zusatzmodul, ausgewertet zusammen mit den Crawl-Daten.Crawl, Search Console und GA4 in einem Projekt, über 80 Standard-Reports und ein MCP-Server. BigQuery-Zugriff gibt es auf Anfrage.
LumarHöchsttempo einstellbar, mit höherem Tempo in ruhigen Zeiten, zum Beispiel von 1 bis 5 Uhr. Der „Crawl Safeguard“ pausiert den Crawl bei hoher Fehlerquote. Lumar nennt bis 450 URLs pro Sekunde ohne und 350 mit Rendering, Testwerte von 2022.Logdaten kommen über Logz.io, Splunk oder Upload in die Analyse.API und Integrationen laut Preisseite.
BotifyHöchsttempo einstellbar. Laut Hilfe passt Botify das Tempo an die Antwortzeit des Servers an und crawlt nicht verifizierte Websites mit höchstens 3 Seiten pro Sekunde. Der Crawler schafft laut Hilfe über 200 Seiten pro Sekunde.LogAnalyzer als eigenes Modul.Exporte unter anderem nach AWS S3 und Google Cloud Storage.
OncrawlHöchsttempo in URLs pro Sekunde einstellbar, auch während des Crawls. Mehr als 1 URL pro Sekunde setzt laut Hilfe eine verifizierte Domain voraus. Empfohlen werden 2 bis 5 URLs pro Sekunde.Log Analyzer als eigenes Modul.Verknüpft laut Website Crawl-, Log- und Performance-Daten. Dazu kommt eine API.
JetOctopusDas Tempo steuerst du über die Zahl der Threads. Laut FAQ bis 250 Seiten pro Sekunde, bei 5 Threads dauert 1 Mio. URLs ein bis zwei Tage.Log Analyzer in jedem Plan.Crawl, Logs, Search Console und GA4 in einem Produkt, alle Module in jedem Plan.
AudistoBis 300 URLs pro Sekunde laut Crawler-Seite, mit „intelligent overload protection“ bei Serverproblemen.nicht dokumentiertAPI und Exporte laut Preisseite in jedem Tarif.

Auswertung, Alerts und eigene Prüfregeln

Bei Millionen URLs entscheidet die Auswertung, ob aus einem Crawl Arbeit wird. Die mittlere Spalte zeigt, wann ein Tool meldet und was es zwischen zwei kompletten Crawls prüft.

CrawlerAuswertungMonitoring und AlertsEigene Prüfregeln
searchVIU (Von uns)Jeder Crawl wird nach Seitentyp ausgewertet, mit über 100 Prüfungen je URL und über 80 Standard-Reports. Der Vergleich mit dem Crawl davor zeigt, was neu ist und was behoben wurde. HTML und Screenshot jeder URL bleiben sechs Monate gespeichert.Page Watch prüft die wichtigsten Seiten kontinuierlich, über den Tag verteilt, dazu die robots.txt und die Sitemaps in eigenem Takt. Alerts sind nach betroffenen URLs und Google-Klicks gewichtet und kommen per E-Mail, Slack, Teams oder Webhook.Eigene Alert-Regeln, auch je Segment, richtet searchVIU für dich ein. Custom Extraction läuft per XPath und Regex, und eigene Reports baut searchVIU nach Bedarf.
LumarSegmente nach Seitentyp, Kategorie oder Land legst du selbst an und wählst sie in jedem Report. Trendlinien zeigen Kennzahlen über mehrere Crawls, im Report auch je Segment.Alerts setzt du auf jeden Report, jedes Segment und jede Extraktion, mit eigener oder automatisch angepasster Schwelle. Ausgewertet wird jeder abgeschlossene Crawl, kritische Alerts kommen per E-Mail, Slack oder Teams. Ein Monitoring zwischen den Crawls ist nicht dokumentiert.Eigene Extraktionen per Regex legst du selbst in den Projekteinstellungen an. Dazu kommen bis zu 25 Custom Metrics je Projekt, deren Code eine KI aus deiner Beschreibung erzeugt.
BotifySiteCrawler zeigt die Daten nach Segmenten, und Reports lassen sich nach Segment filtern. Zwei beliebige Crawls lassen sich vergleichen, Trend-Reports reichen laut Planübersicht 24 Monate zurück.AlertPanel prüft täglich ausgewählte URLs, die robots.txt und Logs. Eigene Alerts auf jede Crawl-Kennzahl laufen am Ende jedes regulären Crawls. Alerts kommen bei statistisch auffälliger Abweichung per E-Mail, Slack oder Teams.Eigene Felder per CSS-Selektor, XPath oder Regex heißen bei Botify HTML Extracts. Zum Einrichten nennt die Hilfe die Projekteinstellungen und den Customer Success Manager.
OncrawlSegmentierungen mit Seitengruppen legst du selbst an, nach jeder Kennzahl und auch für frühere Crawls. Crawl over Crawl vergleicht zwei Crawls, die Scorecard zeigt eine Kennzahl im Verlauf.Eigene Alerts auf Seiten, Links oder den Crawl-Vergleich, mit selbst gesetzter Schwelle als Anzahl oder Anteil. Geprüft wird am Ende jeder Analyse, Meldungen gehen per E-Mail, Slack oder Teams.Eigene Felder per XPath, Regex oder beidem legst du in den Crawl-Einstellungen an, bis zu 100 Regeln je Crawl-Konfiguration. Data Scraping ist eine Option, die nicht jeder Plan enthält.
JetOctopusSegmente legst du ohne Mengengrenze selbst an und nutzt sie für Crawl, Logs und Search Console. Compare Crawls vergleicht laut Hersteller bis zu 10 Crawls mit Trendlinien.Log- und Search-Console-Alerts laufen laut Hersteller ohne Crawl, Crawl-Alerts im Takt geplanter Crawls. Bedingung und Schwelle legst du selbst fest, Meldungen kommen per E-Mail, Slack oder Teams.Bis zu 50 Extraktionsregeln je Crawl legst du selbst an, per CSS-Selektor oder Regex, seit 2024 laut Hersteller auch per XPath und JavaScript. Alerts lassen sich mit Extraktionen kombinieren.
AudistoBis zu 70 eigene Segmente je Crawl, bei Audisto Cluster genannt, teilen die Website etwa nach Seitentypen. Laut Preisseite ist die Kennzahlen-Historie unbegrenzt, im Detail bleiben 3 Crawls erhalten.Alerts hängen an eigenen Checks mit Schwelle absolut oder in Prozent. Kritische Alerts kommen, sobald die Schwelle erreicht ist, die übrigen nach dem Crawl. Der Monitoring-Tarif plant Crawls bis stündlich. Die Hilfe nennt E-Mail, die Produktseite auch Jira, Slack und Teams.Eigene Tests schreibst du selbst, im visuellen Editor oder als Text, mit Regex, XPath oder CSS-Selektor. Im Tarif Monitoring sind 200 Anforderungen je Crawl enthalten, im Tarif Crawler keine.

Datensicherheit und Preis

Die Angaben zu Datenstandort und Zertifikaten stammen von den Sicherheits- und Rechtsseiten der Anbieter. Preise anderer Anbieter stehen so da, wie der Anbieter sie nennt.

CrawlerSitz und DatenstandortZertifikatePreis
searchVIU (Von uns)Bonn. Projektdaten in der EU.ISO/IEC 27001:2022 und SOC 2 Type 2.Ab 399 € im Monat netto, 50.000 URLs inklusive. Richtpreise bis 1 Mio. URLs zeigt der Rechner, darüber gibt es ein Angebot.
LumarLondon. Amazon Web Services, eine Region nennt Lumar nicht.SOC 2 Type 2.Nicht öffentlich.
BotifyParis. Laut AVV werden Daten von Kunden mit Sitz in der EU nur in der EU verarbeitet.SOC 2 Type II.Nicht öffentlich.
OncrawlMérignac bei Bordeaux, seit 2022 Teil von BrightEdge. Google Cloud, EU-Hosting als Option.ISO 27001, SOC 2 Type I und Type II.Nicht öffentlich.
JetOctopusTallinn. Die Datenschutzerklärung von 2019 nennt OVH in Frankreich, die Sicherheitsseite keinen Standort.nicht dokumentiertGrowth 299 oder 399 € im Monat je nach Zahlweise, mit 500.000 URLs im Monat. Ob netto oder brutto, steht nicht dabei.
AudistoGernsbach. Rechenzentren in der EU, den Ort nennt Audisto nicht.nicht dokumentiertCrawler ab 99 €, Monitoring ab 199 € im Monat netto, je 10.000 Seiten je Crawl.

Cloud oder Desktop?

Ein Desktop-Crawler läuft als Programm auf deinem Rechner, ein Cloud-Crawler auf den Servern des Anbieters. Für das einzelne Audit bis in die Hunderttausende URLs reicht ein Desktop-Crawler wie Screaming Frog oder Sitebulb oft aus. Screaming Frog beschreibt die Grenzen des eigenen Tools offen, und diese Aussagen helfen bei der Entscheidung.

  • Größe. Laut FAQ von Screaming Frog ist der SEO Spider „recommended for crawls below 2 million URLs“ und schafft mit passender Hardware deutlich mehr. Für rund 10 Mio. URLs nennt das Tutorial zu großen Websites 16 GB Arbeitsspeicher.
  • Dauer. „A 1 million page website at an average crawl rate of 5 URLs per second will take over two days to crawl“, schreibt Screaming Frog im selben Tutorial.
  • Laufzeit. Der Rechner muss während des Crawls laufen. Für die Cloud beschreibt Screaming Frog einen Selbstbau mit eigener virtueller Maschine und nennt als Beispiel 3,1 Mio. URLs in rund zwei Tagen.
  • JavaScript. Standard ist der Crawl ohne Rendering. Screaming Frog empfiehlt, Rendering gezielt einzusetzen, weil es langsamer ist und mehr Ressourcen braucht.
  • Ausschnitt. Bei großen Websites rät das Tutorial oft zum Teil-Crawl. Dort steht die Frage „So, why crawl 5m URLs, when 50k is enough?“

Screaming Frog gewichtet das selbst anders. Laut FAQ braucht es für große Crawls keinen Server, weil moderne Rechner auch Crawls mit Millionen URLs neben der normalen Arbeit schaffen. Sitebulb bietet beide Wege an, laut FAQ von Sitebulb mit 500.000 URLs je Audit in der Pro-Lizenz für den Desktop und bis 10 Mio. URLs je Audit in der Cloud.

Beide Tools sind für das Audit gebaut. Ein laufendes Monitoring zwischen den Crawls bieten sie nicht. Screaming Frog verschickt nach einem geplanten Crawl auf Wunsch eine E-Mail, und Sitebulb empfiehlt geplante Audits. Deshalb stehen beide hier als Bezugsgröße.

Ein Cloud-Crawler lohnt sich, sobald einer dieser Punkte zutrifft.

  • Die ganze Website soll regelmäßig gecrawlt werden, mit Rendering jeder URL.
  • Dein Team will Alerts bekommen, wenn sich wichtige Seiten ändern.
  • Mehrere Personen arbeiten mit denselben Crawl-Daten und ihrer Historie.
  • Deine IT will den Crawler über IP-Adresse und Kennung freigeben.
  • Crawl-Daten sollen mit Search Console, Analytics oder Logfiles verknüpft werden.

Ein Desktop-Crawler passt, wenn du Audits selbst und nach Bedarf machst, die Website zur Leistung deines Rechners passt und die Crawl-Daten bei dir bleiben sollen. Mehr dazu steht in den Vergleichen Screaming-Frog-Alternativen und Sitebulb-Alternativen.

Ab welcher Größe passt welcher Crawler?

Feste Schwellen gibt es nicht, weil Rendering, Seitentypen und Server mitentscheiden. Als Orientierung dienen die Angaben der Hersteller.

Größe der WebsitePassende CrawlerGrundlage laut Hersteller
bis rund 500.000 URLsFür das einzelne Audit reichen Screaming Frog oder Sitebulb Desktop. Sobald du regelmäßig crawlen und Alerts bekommen willst, passt jeder der sechs Cloud-Crawler.Sitebulb nennt 500.000 URLs als Standardgrenze der Pro-Lizenz. Screaming Frog nennt für die Standardeinstellung 100.000 bis 1 Mio. URLs.
500.000 bis 2 Mio. URLssearchVIU, Lumar, Botify, Oncrawl, JetOctopus, Audisto. Am Desktop geht das mit passender Hardware.Screaming Frog empfiehlt den SEO Spider für Crawls unter 2 Mio. URLs. Der Plan Pro von JetOctopus enthält 2 Mio. URLs im Monat.
über 2 Mio. URLssearchVIU, Lumar, Botify, Oncrawl, JetOctopus, AudistoBotify nennt im Enterprise-Plan Monatskontingente bis 50 Mio. Seiten, Audisto 20 Mio. HTML-Seiten und mehr, JetOctopus über 100 Mio. Seiten. Bei searchVIU sind mehrere Millionen URLs jede Woche kein Problem, und eine Obergrenze gibt es nicht.

Schau bei jeder Stufe auf das Kontingent. Wer eine Website mit 2 Mio. URLs jede Woche crawlt, braucht im Monat rund 8,7 Mio. Abrufe. Mit Rendering zählt das je nach Anbieter doppelt oder dreifach.

Was searchVIU nicht ersetzt

Wenn dir einer dieser Punkte wichtig ist, passt einer der anderen Crawler besser.

Einen Desktop-Crawler

searchVIU läuft in der Cloud und stimmt Crawls mit dem Betreiber der Website ab. Für das schnelle Audit am eigenen Rechner passen Screaming Frog oder Sitebulb Desktop.

Tests in der CI/CD-Pipeline

searchVIU crawlt die Staging-Umgebung regelmäßig, und ein Crawl lässt sich per Webhook aus dem Release-Ablauf anstoßen. Einen Build stoppt das nicht. Das kann Lumar Protect.

Single Sign-on

Die Anmeldung läuft über das searchVIU-Konto, ein zweiter Faktor ist für jedes Konto verfügbar. SSO nennen Lumar und Botify.

Eine deutsche Oberfläche

Die Oberfläche ist englisch. Beratung gibt es auf Deutsch und Englisch.

Eine SEO-Suite

searchVIU hat keinen eigenen Backlink-Index und keinen Sichtbarkeitsindex. Dafür gibt es Suiten wie SISTRIX, Semrush oder Ahrefs.

Einen Uptime-Checker

Fällt eine wichtige Seite aus, meldet Page Watch das. Die Erreichbarkeit im Minutentakt aus mehreren Regionen prüfen Dienste, die dafür gebaut sind.

Häufige Fragen

Welche SEO-Crawler eignen sich für Enterprise-Websites?
Für Websites mit Hunderttausenden bis Millionen URLs eignen sich Cloud-Crawler. Dazu gehören searchVIU, Lumar, Botify, Oncrawl, JetOctopus und Audisto. searchVIU crawlt jede Woche die ganze Website und rendert jede URL in Chrome. Lumar passt, wenn Prüfungen in der CI/CD-Pipeline laufen sollen. Bei viel Arbeit mit Logfiles passen Botify, Oncrawl, JetOctopus und searchVIU. Eigene Extraktionen per Regex oder XPath bieten fast alle. Eigene Tests schreibst du bei Audisto selbst, und searchVIU richtet eigene Regeln für dich ein, auch je Segment. Screaming Frog und Sitebulb decken Audits am eigenen Rechner ab.
Welche Cloud-Crawler eignen sich für Websites mit mehreren Millionen URLs?
searchVIU, Lumar, Botify, Oncrawl, JetOctopus und Audisto crawlen Websites mit Millionen URLs. Bei searchVIU sind mehrere Millionen URLs jede Woche kein Problem, und eine Obergrenze gibt es nicht. Botify nennt im Vertragsanhang Monatskontingente bis 50 Mio. Seiten, Audisto 20 Mio. HTML-Seiten und mehr, JetOctopus über 100 Mio. Seiten. Frag bei jedem Anbieter nach, ob Rendering das Kontingent zusätzlich belastet.
Welche Enterprise-Crawler passen zu großen Onlineshops?
Große Shops haben viele Seitentypen, Filter-URLs und häufige Releases. Dafür brauchst du einen Crawler, der jede URL rendert, nach Seitentyp auswertet und regelmäßig läuft. searchVIU, Botify, Lumar, Oncrawl und JetOctopus richten sich an solche Websites. Bei hohem Bot-Aufkommen lohnt die Logfile-Analyse. Botify, Oncrawl, JetOctopus und searchVIU werten Logfiles zusammen mit den Crawl-Daten aus. Bei JetOctopus steckt die Logfile-Analyse in jedem Plan, bei Botify und Oncrawl ist sie ein eigenes Modul und bei searchVIU ein Zusatzmodul zum SEO-Monitoring.
Worin unterscheiden sich Cloud-Crawler und Desktop-Crawler?
Ein Desktop-Crawler läuft auf deinem Rechner. Größe und Dauer des Crawls hängen an Arbeitsspeicher und Festplatte, und der Rechner muss durchlaufen. Ein Cloud-Crawler läuft auf den Servern des Anbieters, crawlt nach Zeitplan und speichert die Historie für das ganze Team. Dafür liegen die Daten beim Anbieter, und der Preis ist höher.
Welche SEO-Crawler eignen sich für technische Audits?

Für das einzelne Audit am eigenen Rechner passen Screaming Frog und Sitebulb. Screaming Frog geht sehr tief und lässt sich frei einstellen, Sitebulb erklärt und priorisiert die Befunde. Soll das Audit regelmäßig über die ganze Website laufen, passen Cloud-Crawler wie searchVIU, Lumar, Botify, Oncrawl, JetOctopus und Audisto. Bei searchVIU ist jeder wöchentliche Crawl ein vollständiges Audit mit über 100 Prüfungen je URL. Wie ein Crawl für die technische Analyse Schritt für Schritt abläuft, zeigt der Ratgeber Website crawlen für die technische SEO-Analyse.

Welche Enterprise SEO Crawler rendern JavaScript, und was kostet das?
Alle sechs Crawler rendern JavaScript, aber die Kosten unterscheiden sich. Bei searchVIU ist das Rendering im SEO-Monitoring enthalten, bei Audisto in beiden Tarifen. Bei JetOctopus zählt eine gerenderte Seite als zwei, bei Oncrawl verbraucht ein Crawl mit JavaScript das Dreifache an Tokens. Botify führt JavaScript im Vertragsanhang als Option. Lumar dokumentiert dazu nichts.
Was kostet ein Enterprise SEO Crawler?
Drei der sechs Anbieter nennen Preise. searchVIU beginnt bei 399 € im Monat mit 50.000 URLs, JetOctopus bei 299 € im Monat mit 500.000 URLs im Monat. Audisto beginnt bei 99 € im Monat für den Crawler und 199 € für das Monitoring, je mit 10.000 Seiten je Crawl. Die Preise von searchVIU und Audisto sind netto, JetOctopus macht dazu keine Angabe. Lumar, Botify und Oncrawl nennen keine Preise.
Was unterscheidet einen Enterprise SEO Crawler von einer Enterprise-SEO-Plattform?

Ein Crawler ruft die Website ab und prüft sie technisch. Eine Enterprise-SEO-Plattform ist oft breiter und verbindet Rankings, Content und KI-Sichtbarkeit, manche davon ohne eigenen tiefen Crawl. Welche Plattformen es gibt, zeigt der Vergleich Enterprise-SEO-Plattformen.

Wie wir vergleichen

Stand der Angaben ist der 16.11.2026. Für jeden Anbieter haben wir Produktseite, Preisseite, FAQ und Dokumentation gelesen, bei Botify auch den öffentlich verlinkten Vertragsanhang. In die Tabellen kommt nur, was der Anbieter dort selbst schreibt, mit Jahr, wenn die Angabe älter ist. Tempo und Größe sind Herstellerangaben, die wir nicht nachgemessen haben. Bewertungsportale und Schätzungen Dritter fließen nicht ein. Konten oder Testzugänge haben wir für diesen Vergleich nicht genutzt.

Ausgewählt haben wir die Crawler, die bei der Suche nach Enterprise-Crawlern am häufigsten genannt werden, dazu Audisto als Cloud-Crawler aus Deutschland. searchVIU ist unser eigenes Produkt und steht deshalb an erster Stelle. Die Angaben zu searchVIU stammen aus unserem eigenen Produkt.

Anbieter ändern ihre Produkte und Preise, und auch wir können etwas übersehen. Wenn dir eine Angabe veraltet oder falsch vorkommt, schreib uns. Wir prüfen sie und passen die Seite an.

Quellen (15)

Weitere Vergleiche: ContentKing AlternativeLumar AlternativeSISTRIX AlternativeScreaming Frog AlternativeRyte AlternativeConductor AlternativeSeobility AlternativeGEO-Tools im VergleichSitebulb AlternativeRank-Tracking-Tools im VergleichEnterprise-SEO-Plattformen im VergleichSEO-Crawler mit Daten in der EU