SEO Crawler Jede Seite im Browser gerendert und jeder Crawl zum Vergleich

searchVIU crawlt deine komplette Website jede Woche und rendert jede Seite mit JavaScript. Weil frühere Crawls erhalten bleiben, siehst du, was sich geändert hat.

Demo anfragen
Millionen URLspro Projekt, in der CloudAktuelles Chromejede Seite gerendertsearchVIUbotmit fester IP6 Monate Historiemit Screenshot je Crawl
URL Historybeispiel-shop.de/zelte/2-personen/
KW 41Title im gerenderten HTML geändert
Diff
KW 40keine Änderung · Screenshot gespeichert
Ok
KW 3914 neue interne Links
Diff
KW 38keine Änderung · Screenshot gespeichert
Ok
Desktop-Crawler

Ein Crawl auf dem Laptop ist nach einer Woche alt.

Bei großen Websites geht Desktop-Crawlern der Arbeitsspeicher aus, und ein Crawl dauert Stunden. Am Ende zeigt er den Stand von genau diesem einen Tag.

Grenzen des Rechners

Hunderttausende URLs brauchen Speicher und Zeit. Solange der Crawl läuft, arbeitet dein Rechner vor allem für den Crawler.

Ein Stand, kein Verlauf

Ein einzelner Crawl zeigt die Website von heute. Ob ein Title letzte Woche anders war oder eine Seite seitdem fehlt, musst du selbst aus alten Exporten zusammensuchen. Das gilt auch, wenn der Crawler auf einem Server läuft.

Screaming Frog und searchVIU im Vergleich
Rendering

searchVIU öffnet jede URL im echten Browser.

searchVIU lädt jede Seite in einem aktuellen Google Chrome und führt das JavaScript aus. Gespeichert werden das rohe und das gerenderte HTML, ein Screenshot, das Netzwerk-Log und die HTTP-Header. So siehst du für jede URL, was dein Server ausliefert und was danach im Browser steht.

Mehr zu JavaScript SEO
/zelte/2-personen/Quelltext → gerendert
<title>Zelte für 2 Personen | Beispiel-Shop</title><title>Beispiel-Shop</title><link rel="canonical" href="https://beispiel-shop.de/zelte/2-personen/">
Statuscode 200Canonical gleichScreenshot gespeichert
URL-Quellen

Mit mehr Quellen als nur Links fallen auch verwaiste Seiten auf.

Der Crawler folgt den internen Links und nimmt weitere Quellen dazu. Seiten, die nirgends verlinkt sind oder seit dem letzten Crawl fehlen, werden dadurch sichtbar.

Interne Links

Der Crawl startet auf deiner Website und folgt jeder Verlinkung.

XML-Sitemaps

URLs aus deinen Sitemaps kommen dazu, auch wenn sie intern nicht verlinkt sind.

Search Console

URLs, die bei Google Impressionen haben, werden mitgecrawlt.

Externe Links und frühere Crawls

Extern verlinkte URLs und alle URLs aus dem letzten Crawl schließen die Lücken.

Was searchVIU an jeder URL prüft
Crawl-Historie

Jeder Crawl bleibt und jede Änderung wird sichtbar.

searchVIU vergleicht jeden Crawl mit dem vorherigen. Die Themenreports zeigen, was seit dem letzten Crawl dazugekommen oder weggefallen ist, von Canonicals bis Structured Data. Für jede einzelne URL blätterst du Woche für Woche zurück, mit Screenshot und Diff.

  • 6 Monate Historieals Standard, einstellbar
  • Jede URLmit Screenshot und HTML-Diff je Crawl
Mehr zu SEO Change Monitoring
Seit dem letzten Crawlbeispiel-shop.de · KW 41
  • Statuscodes312 URLs liefern jetzt 404
    neu
  • Canonicals37 Seiten mit neuem Canonical-Ziel
    neu
  • Interne Verlinkung1.284 URLs zusätzlich verlinkt
    geändert
  • Structured Dataunverändert
    gleich
In der Cloud

Auch große Websites crawlt searchVIU in der Cloud.

Der Crawl läuft in der Google Cloud in der EU. Dein Rechner bleibt frei, auch bei Millionen URLs.

MillionenURLs pro Projekt
Jede Wochekompletter Crawl, jede URL gerendert
Über 100Prüfungen je URL
6 MonateHistorie als Standard
Für deine IT

Der Crawler nimmt Rücksicht auf deinen Server.

Die Geschwindigkeit des Crawlers ist für jede Website einstellbar. Antwortet dein Server mit 429 oder 5xx, fährt der Crawler die Rate automatisch herunter. Für die Freigabe bekommt deine IT eine feste IP und die Kennung searchVIUbot.

    Bot-Doku für deine IT
    Was der Crawler einhältjedes Projekt
    • Crawl-Rate je Websitepassend zu Server und Hosting eingestellt
    • Bei 429 halbe RateRetry-After wird eingehalten
    • Bei 5xx automatisch langsamerdanach fährt der Crawler wieder hoch
    • Feste IP und searchVIUbotzum Freigeben in Firewall und Bot-Schutz
    • 322 Tracking-Endpunkte blockiertdeine Analytics-Zahlen bleiben sauber
    Einstellungen

    Wir stellen den Crawl auf deine Website ein.

    Jede Website ist anders gebaut. Deshalb richten wir den Crawl für dein Projekt ein und passen ihn an, wenn sich die Website ändert.

    1Seitentypen

    Produkt-, Kategorie- oder Ratgeberseiten getrennt auswerten.

    2Custom Extraction

    Zusätzliche Felder aus dem HTML auslesen, die für deine Website zählen.

    3DEV- und Staging-Crawls

    Auch passwortgeschützt, per Basic Auth, eigenem Header oder IP-Freigabe.

    4Quick Check

    Eine URL-Liste gezielt prüfen, außerhalb des wöchentlichen Crawls.

    Inhalte hinter Consent-Bannern oder erst nach einem Klick erreicht der Crawler mit einem eigenen Script für deine Website.

    Mehr zu Staging Monitoring
    Nach dem Crawl

    Der Crawl ist fertig und hat nichts Neues gefunden.

    Die meisten Wochen sind ruhig. Auch das steht im Crawl, damit du nicht selbst nachsehen musst.

    • Alle URLs gecrawltauch die aus Sitemaps und Search Console
    • Keine neuen Fehlerseitenim Vergleich zum letzten Crawl
    • Server ohne Drosselungkeine 429 oder 5xx während des Crawls
    KW 40 · Crawl ohne neue Fehler

    Häufige Fragen zum Crawler

    Belastet der Crawler unseren Server?

    Die Geschwindigkeit stellen wir für deine Website ein. Antwortet der Server mit 429, halbiert der Crawler die Rate und hält sich an Retry-After. Bei 5xx drosselt er ebenfalls automatisch.

    Wie geben wir den Crawler frei?

    Über die feste IP von searchVIU oder die Kennung searchVIUbot. Die Angaben für deine IT stimmen wir vor dem ersten Crawl mit dir ab.

    Hält sich searchVIUbot an die robots.txt?

    Ja, standardmäßig. Für Testumgebungen mit „Disallow: /“ hinterlegen wir auf Wunsch eine eigene robots.txt, die nur für deine Crawls gilt. Welche Gruppe searchVIUbot liest, steht in der Bot-Doku.

    Rendert searchVIU mobil oder Desktop?

    Standardmäßig crawlt searchVIU als Smartphone, weil Google ebenfalls Mobile First crawlt. Wenn du es brauchst, stellen wir dein Projekt auf Desktop oder auf beides um.

    Wie lange dauert ein Crawl?

    Das hängt davon ab, wie schnell wir crawlen dürfen. Technisch schafft searchVIU 100.000 URLs auch in wenigen Stunden. Das Tempo stimmen wir vorher mit dir und deiner IT ab. Der komplette Crawl läuft jede Woche, deine wichtigsten Seiten prüft Page Watch zusätzlich kontinuierlich, über den Tag verteilt.

    Verfälscht der Crawl unsere Analytics-Daten?

    Nein. Beim Rendern blockiert searchVIU 322 bekannte Tracking-, Analytics- und Werbe-Endpunkte.

    Wir nutzen schon Screaming Frog. Wozu searchVIU?

    Screaming Frog ist stark für Analysen am eigenen Rechner. searchVIU crawlt in der Cloud jede Woche ohne dein Zutun und hebt jeden Crawl für den Vergleich auf. Die Ergebnisse sieht dein ganzes Team im selben Projekt.

    Wo liegen unsere Daten?

    Deine Projektdaten liegen in der Google Cloud in der EU. searchVIU ist nach ISO/IEC 27001:2022 zertifiziert. Mehr zur Sicherheit

    Was kostet der Crawler?

    Der Crawler ist im SEO-Monitoring enthalten, ab 399 € im Monat mit 50.000 URLs inklusive. Daten-Beratung ist inklusive. Alle Preise findest du auf der Preisseite.

    Demo

    Lass uns über deine Website sprechen.

    In der Demo zeigt dir Michael, wie searchVIU funktioniert. Dafür nutzen wir deine Website und ein Beispielprojekt.

    1. Anfrage in drei kurzen Schritten
    2. Kurze Abstimmung zu Crawler-Freigabe, NDA und Search Console
    3. Demo mit deiner Website und dem Beispielprojekt
    4. Start gemeinsam geplant und begleitet
    1. Website
    2. Bedarf
    3. Kontakt

    Um welche Website geht es?