Die sechs Crawler nach Kriterien
Die Tabellen zeigen die Crawler in derselben Reihenfolge wie die Karten. Die Angaben zu anderen Anbietern stammen von deren Websites, Preisseiten und Dokumentationen, Stand 16.11.2026. Die wichtigsten Quellen stehen am Ende der Seite. „Nicht dokumentiert“ heißt, dass auf den öffentlichen Seiten des Anbieters dazu nichts stand.
Arbeitsweise, Größe und JavaScript-Rendering
| Crawler | Arbeitsweise | Größenordnung laut Hersteller | JavaScript-Rendering und was es kostet |
|---|
| searchVIU (Von uns) | Cloud. Kompletter Crawl jede Woche, dazwischen prüft Page Watch die wichtigsten Seiten. | Websites mit Millionen URLs, eine Obergrenze gibt es nicht. Mehrere Millionen URLs jede Woche sind kein Problem. | Jede URL wird in Chrome gerendert. Das Rendering ist im SEO-Monitoring enthalten. |
| Lumar | Cloud. Geplante Crawls, laut FAQ bis stündlich. | Websites mit „hundreds of thousands (or millions) of pages“. Eine Obergrenze nennt Lumar nicht, abgerechnet wird über ein URL-Kontingent je Abrechnungszeitraum. | Rendering mit der Rendering-Engine von Google laut Crawler-Seite. Ob gerenderte Seiten mehr Kontingent verbrauchen, ist nicht dokumentiert. |
| Botify | Cloud. Geplante Crawls, laut Vertragsanhang je Plan von zweimal im Monat bis täglich. | „Millions of pages in a single crawl“ laut Produktseite. Eine Meldung von 2017 nennt 25 Mio. Seiten je Crawl, der Vertragsanhang von 2026 Monatskontingente von 2 Mio. bis 50 Mio. Seiten je Plan. | Dieselbe Rendering-Engine wie Googlebot laut Produktseite. JavaScript ist laut Vertragsanhang eine Option, die der Account Manager freischaltet. Was sie kostet, ist nicht dokumentiert. |
| Oncrawl | Cloud. Geplante Crawls, die Häufigkeit legst du je Crawl-Konfiguration fest. | „Millions of URLs without artificial limits“ laut Crawler-Seite. Abgerechnet wird über ein monatliches Token-Kontingent. | Rendering „at any scale“ laut Crawler-Seite. Ein Crawl mit JavaScript verbraucht laut Hilfe das Dreifache an Crawl-Tokens. |
| JetOctopus | Cloud. Geplante Crawls, Logs laufen unabhängig davon ein. | „10M, 50M, 100M+ pages“ laut Enterprise-Seite. Die öffentlichen Pläne enthalten 500.000 bis 5 Mio. URLs im Monat, darüber gibt es den Plan Unlimited auf Anfrage. | Rendering wie Googlebot laut Hersteller. Eine gerenderte Seite zählt laut FAQ als zwei gecrawlte Seiten. |
| Audisto | Cloud. Geplante Crawls, im Monitoring-Tarif bis stündlich, im Crawler-Tarif täglich. | „20 million HTML pages or more“ laut Crawler-Seite, ohne Credit-System. | In beiden Tarifen enthalten. |
Tempo, Logfiles und Daten
Tempo-Angaben der Hersteller sind Höchstwerte. In der Praxis begrenzt meist der Server der Website, wie schnell ein Crawl laufen darf.
| Crawler | Tempo und Steuerung | Logfiles | Daten und Export |
|---|
| searchVIU (Von uns) | Die Zahl gleichzeitiger Anfragen stellt searchVIU je Projekt ein und stimmt sie mit deiner IT ab. Antwortet der Server mit HTTP 429, halbiert der Crawl sein Tempo. Eine Staffelung nach Uhrzeit und ein fester Deckel für Anfragen pro Minute sind möglich. | Logfile-Analyse für Googlebot und KI-Bots als Zusatzmodul, ausgewertet zusammen mit den Crawl-Daten. | Crawl, Search Console und GA4 in einem Projekt, über 80 Standard-Reports und ein MCP-Server. BigQuery-Zugriff gibt es auf Anfrage. |
| Lumar | Höchsttempo einstellbar, mit höherem Tempo in ruhigen Zeiten, zum Beispiel von 1 bis 5 Uhr. Der „Crawl Safeguard“ pausiert den Crawl bei hoher Fehlerquote. Lumar nennt bis 450 URLs pro Sekunde ohne und 350 mit Rendering, Testwerte von 2022. | Logdaten kommen über Logz.io, Splunk oder Upload in die Analyse. | API und Integrationen laut Preisseite. |
| Botify | Höchsttempo einstellbar. Laut Hilfe passt Botify das Tempo an die Antwortzeit des Servers an und crawlt nicht verifizierte Websites mit höchstens 3 Seiten pro Sekunde. Der Crawler schafft laut Hilfe über 200 Seiten pro Sekunde. | LogAnalyzer als eigenes Modul. | Exporte unter anderem nach AWS S3 und Google Cloud Storage. |
| Oncrawl | Höchsttempo in URLs pro Sekunde einstellbar, auch während des Crawls. Mehr als 1 URL pro Sekunde setzt laut Hilfe eine verifizierte Domain voraus. Empfohlen werden 2 bis 5 URLs pro Sekunde. | Log Analyzer als eigenes Modul. | Verknüpft laut Website Crawl-, Log- und Performance-Daten. Dazu kommt eine API. |
| JetOctopus | Das Tempo steuerst du über die Zahl der Threads. Laut FAQ bis 250 Seiten pro Sekunde, bei 5 Threads dauert 1 Mio. URLs ein bis zwei Tage. | Log Analyzer in jedem Plan. | Crawl, Logs, Search Console und GA4 in einem Produkt, alle Module in jedem Plan. |
| Audisto | Bis 300 URLs pro Sekunde laut Crawler-Seite, mit „intelligent overload protection“ bei Serverproblemen. | nicht dokumentiert | API und Exporte laut Preisseite in jedem Tarif. |
Auswertung, Alerts und eigene Prüfregeln
Bei Millionen URLs entscheidet die Auswertung, ob aus einem Crawl Arbeit wird. Die mittlere Spalte zeigt, wann ein Tool meldet und was es zwischen zwei kompletten Crawls prüft.
| Crawler | Auswertung | Monitoring und Alerts | Eigene Prüfregeln |
|---|
| searchVIU (Von uns) | Jeder Crawl wird nach Seitentyp ausgewertet, mit über 100 Prüfungen je URL und über 80 Standard-Reports. Der Vergleich mit dem Crawl davor zeigt, was neu ist und was behoben wurde. HTML und Screenshot jeder URL bleiben sechs Monate gespeichert. | Page Watch prüft die wichtigsten Seiten kontinuierlich, über den Tag verteilt, dazu die robots.txt und die Sitemaps in eigenem Takt. Alerts sind nach betroffenen URLs und Google-Klicks gewichtet und kommen per E-Mail, Slack, Teams oder Webhook. | Eigene Alert-Regeln, auch je Segment, richtet searchVIU für dich ein. Custom Extraction läuft per XPath und Regex, und eigene Reports baut searchVIU nach Bedarf. |
| Lumar | Segmente nach Seitentyp, Kategorie oder Land legst du selbst an und wählst sie in jedem Report. Trendlinien zeigen Kennzahlen über mehrere Crawls, im Report auch je Segment. | Alerts setzt du auf jeden Report, jedes Segment und jede Extraktion, mit eigener oder automatisch angepasster Schwelle. Ausgewertet wird jeder abgeschlossene Crawl, kritische Alerts kommen per E-Mail, Slack oder Teams. Ein Monitoring zwischen den Crawls ist nicht dokumentiert. | Eigene Extraktionen per Regex legst du selbst in den Projekteinstellungen an. Dazu kommen bis zu 25 Custom Metrics je Projekt, deren Code eine KI aus deiner Beschreibung erzeugt. |
| Botify | SiteCrawler zeigt die Daten nach Segmenten, und Reports lassen sich nach Segment filtern. Zwei beliebige Crawls lassen sich vergleichen, Trend-Reports reichen laut Planübersicht 24 Monate zurück. | AlertPanel prüft täglich ausgewählte URLs, die robots.txt und Logs. Eigene Alerts auf jede Crawl-Kennzahl laufen am Ende jedes regulären Crawls. Alerts kommen bei statistisch auffälliger Abweichung per E-Mail, Slack oder Teams. | Eigene Felder per CSS-Selektor, XPath oder Regex heißen bei Botify HTML Extracts. Zum Einrichten nennt die Hilfe die Projekteinstellungen und den Customer Success Manager. |
| Oncrawl | Segmentierungen mit Seitengruppen legst du selbst an, nach jeder Kennzahl und auch für frühere Crawls. Crawl over Crawl vergleicht zwei Crawls, die Scorecard zeigt eine Kennzahl im Verlauf. | Eigene Alerts auf Seiten, Links oder den Crawl-Vergleich, mit selbst gesetzter Schwelle als Anzahl oder Anteil. Geprüft wird am Ende jeder Analyse, Meldungen gehen per E-Mail, Slack oder Teams. | Eigene Felder per XPath, Regex oder beidem legst du in den Crawl-Einstellungen an, bis zu 100 Regeln je Crawl-Konfiguration. Data Scraping ist eine Option, die nicht jeder Plan enthält. |
| JetOctopus | Segmente legst du ohne Mengengrenze selbst an und nutzt sie für Crawl, Logs und Search Console. Compare Crawls vergleicht laut Hersteller bis zu 10 Crawls mit Trendlinien. | Log- und Search-Console-Alerts laufen laut Hersteller ohne Crawl, Crawl-Alerts im Takt geplanter Crawls. Bedingung und Schwelle legst du selbst fest, Meldungen kommen per E-Mail, Slack oder Teams. | Bis zu 50 Extraktionsregeln je Crawl legst du selbst an, per CSS-Selektor oder Regex, seit 2024 laut Hersteller auch per XPath und JavaScript. Alerts lassen sich mit Extraktionen kombinieren. |
| Audisto | Bis zu 70 eigene Segmente je Crawl, bei Audisto Cluster genannt, teilen die Website etwa nach Seitentypen. Laut Preisseite ist die Kennzahlen-Historie unbegrenzt, im Detail bleiben 3 Crawls erhalten. | Alerts hängen an eigenen Checks mit Schwelle absolut oder in Prozent. Kritische Alerts kommen, sobald die Schwelle erreicht ist, die übrigen nach dem Crawl. Der Monitoring-Tarif plant Crawls bis stündlich. Die Hilfe nennt E-Mail, die Produktseite auch Jira, Slack und Teams. | Eigene Tests schreibst du selbst, im visuellen Editor oder als Text, mit Regex, XPath oder CSS-Selektor. Im Tarif Monitoring sind 200 Anforderungen je Crawl enthalten, im Tarif Crawler keine. |
Datensicherheit und Preis
Die Angaben zu Datenstandort und Zertifikaten stammen von den Sicherheits- und Rechtsseiten der Anbieter. Preise anderer Anbieter stehen so da, wie der Anbieter sie nennt.
| Crawler | Sitz und Datenstandort | Zertifikate | Preis |
|---|
| searchVIU (Von uns) | Bonn. Projektdaten in der EU. | ISO/IEC 27001:2022 und SOC 2 Type 2. | Ab 399 € im Monat netto, 50.000 URLs inklusive. Richtpreise bis 1 Mio. URLs zeigt der Rechner, darüber gibt es ein Angebot. |
| Lumar | London. Amazon Web Services, eine Region nennt Lumar nicht. | SOC 2 Type 2. | Nicht öffentlich. |
| Botify | Paris. Laut AVV werden Daten von Kunden mit Sitz in der EU nur in der EU verarbeitet. | SOC 2 Type II. | Nicht öffentlich. |
| Oncrawl | Mérignac bei Bordeaux, seit 2022 Teil von BrightEdge. Google Cloud, EU-Hosting als Option. | ISO 27001, SOC 2 Type I und Type II. | Nicht öffentlich. |
| JetOctopus | Tallinn. Die Datenschutzerklärung von 2019 nennt OVH in Frankreich, die Sicherheitsseite keinen Standort. | nicht dokumentiert | Growth 299 oder 399 € im Monat je nach Zahlweise, mit 500.000 URLs im Monat. Ob netto oder brutto, steht nicht dabei. |
| Audisto | Gernsbach. Rechenzentren in der EU, den Ort nennt Audisto nicht. | nicht dokumentiert | Crawler ab 99 €, Monitoring ab 199 € im Monat netto, je 10.000 Seiten je Crawl. |
Cloud oder Desktop?
Ein Desktop-Crawler läuft als Programm auf deinem Rechner, ein Cloud-Crawler auf den Servern des Anbieters. Für das einzelne Audit bis in die Hunderttausende URLs reicht ein Desktop-Crawler wie Screaming Frog oder Sitebulb oft aus. Screaming Frog beschreibt die Grenzen des eigenen Tools offen, und diese Aussagen helfen bei der Entscheidung.
- Größe. Laut FAQ von Screaming Frog ist der SEO Spider „recommended for crawls below 2 million URLs“ und schafft mit passender Hardware deutlich mehr. Für rund 10 Mio. URLs nennt das Tutorial zu großen Websites 16 GB Arbeitsspeicher.
- Dauer. „A 1 million page website at an average crawl rate of 5 URLs per second will take over two days to crawl“, schreibt Screaming Frog im selben Tutorial.
- Laufzeit. Der Rechner muss während des Crawls laufen. Für die Cloud beschreibt Screaming Frog einen Selbstbau mit eigener virtueller Maschine und nennt als Beispiel 3,1 Mio. URLs in rund zwei Tagen.
- JavaScript. Standard ist der Crawl ohne Rendering. Screaming Frog empfiehlt, Rendering gezielt einzusetzen, weil es langsamer ist und mehr Ressourcen braucht.
- Ausschnitt. Bei großen Websites rät das Tutorial oft zum Teil-Crawl. Dort steht die Frage „So, why crawl 5m URLs, when 50k is enough?“
Screaming Frog gewichtet das selbst anders. Laut FAQ braucht es für große Crawls keinen Server, weil moderne Rechner auch Crawls mit Millionen URLs neben der normalen Arbeit schaffen. Sitebulb bietet beide Wege an, laut FAQ von Sitebulb mit 500.000 URLs je Audit in der Pro-Lizenz für den Desktop und bis 10 Mio. URLs je Audit in der Cloud.
Beide Tools sind für das Audit gebaut. Ein laufendes Monitoring zwischen den Crawls bieten sie nicht. Screaming Frog verschickt nach einem geplanten Crawl auf Wunsch eine E-Mail, und Sitebulb empfiehlt geplante Audits. Deshalb stehen beide hier als Bezugsgröße.
Ein Cloud-Crawler lohnt sich, sobald einer dieser Punkte zutrifft.
- Die ganze Website soll regelmäßig gecrawlt werden, mit Rendering jeder URL.
- Dein Team will Alerts bekommen, wenn sich wichtige Seiten ändern.
- Mehrere Personen arbeiten mit denselben Crawl-Daten und ihrer Historie.
- Deine IT will den Crawler über IP-Adresse und Kennung freigeben.
- Crawl-Daten sollen mit Search Console, Analytics oder Logfiles verknüpft werden.
Ein Desktop-Crawler passt, wenn du Audits selbst und nach Bedarf machst, die Website zur Leistung deines Rechners passt und die Crawl-Daten bei dir bleiben sollen. Mehr dazu steht in den Vergleichen Screaming-Frog-Alternativen und Sitebulb-Alternativen.
Ab welcher Größe passt welcher Crawler?
Feste Schwellen gibt es nicht, weil Rendering, Seitentypen und Server mitentscheiden. Als Orientierung dienen die Angaben der Hersteller.
| Größe der Website | Passende Crawler | Grundlage laut Hersteller |
|---|
| bis rund 500.000 URLs | Für das einzelne Audit reichen Screaming Frog oder Sitebulb Desktop. Sobald du regelmäßig crawlen und Alerts bekommen willst, passt jeder der sechs Cloud-Crawler. | Sitebulb nennt 500.000 URLs als Standardgrenze der Pro-Lizenz. Screaming Frog nennt für die Standardeinstellung 100.000 bis 1 Mio. URLs. |
| 500.000 bis 2 Mio. URLs | searchVIU, Lumar, Botify, Oncrawl, JetOctopus, Audisto. Am Desktop geht das mit passender Hardware. | Screaming Frog empfiehlt den SEO Spider für Crawls unter 2 Mio. URLs. Der Plan Pro von JetOctopus enthält 2 Mio. URLs im Monat. |
| über 2 Mio. URLs | searchVIU, Lumar, Botify, Oncrawl, JetOctopus, Audisto | Botify nennt im Enterprise-Plan Monatskontingente bis 50 Mio. Seiten, Audisto 20 Mio. HTML-Seiten und mehr, JetOctopus über 100 Mio. Seiten. Bei searchVIU sind mehrere Millionen URLs jede Woche kein Problem, und eine Obergrenze gibt es nicht. |
Schau bei jeder Stufe auf das Kontingent. Wer eine Website mit 2 Mio. URLs jede Woche crawlt, braucht im Monat rund 8,7 Mio. Abrufe. Mit Rendering zählt das je nach Anbieter doppelt oder dreifach.