Technisches SEO

Wie crawlst du eine Website für die technische SEO-Analyse?

Sieben Schritte vom Ziel bis zur priorisierten Liste. Dazu die Crawler, die dafür infrage kommen, und der Abgleich mit Search Console und Logfiles.

200301404
Michael WeberStand: 16.11.202615 Min. Lesezeit
Kurz gesagt
  • Ein SEO-Crawler ruft deine Website Seite für Seite ab, folgt den internen Links und speichert zu jeder URL, was Suchmaschinen dort vorfinden.
  • Der Ablauf hat sieben Schritte. Du legst das Ziel fest, wählst den Crawler, stellst ihn ein, crawlst, wertest aus, priorisierst und wiederholst den Crawl.
  • Desktop-Crawler wie Screaming Frog und Sitebulb laufen auf deinem Rechner. Cloud-Crawler wie Lumar, Botify, Oncrawl, JetOctopus und searchVIU crawlen auf den Servern des Anbieters und nach Zeitplan.
  • Der Crawl zeigt, was auf deiner Website steht. Was Google daraus macht, zeigen die Search Console und die Logfiles deines Servers.

Was ist ein SEO-Crawler und wie funktioniert er?

Ein SEO-Crawler ist ein Programm, das eine Website so abruft wie der Crawler einer Suchmaschine. Er startet bei einer oder mehreren URLs, liest den Quelltext, sammelt die Links darin ein und ruft diese Seiten als Nächstes ab, bis er alle erreichbaren URLs kennt. Zu jeder URL speichert er Statuscode, Weiterleitungsziel, Title, Canonical, Robots-Angaben, Überschriften, Links und weitere Daten.

Viele Crawler laden jede Seite zusätzlich in einem Browser und führen das JavaScript aus. So erfasst der Crawl auch Inhalte und Links, die erst im Browser entstehen. Google arbeitet ähnlich. Laut der Doku So funktioniert die Google Suche findet Google neue Seiten über Links auf bekannten Seiten und über eingereichte Sitemaps und rendert sie mit einer aktuellen Version von Chrome.

Googlebot crawlt das Web für den Index von Google. Ein SEO-Crawler crawlt deine Website in deinem Auftrag und liefert dir die Daten als Tabelle, Report oder Export. Ob Google eine Seite wirklich abruft und indexiert, zeigen die Search Console und die Logfiles. Dazu mehr im Abschnitt Crawling und Indexierung prüfen.

Website crawlen in sieben Schritten

Die sieben Schritte gelten für jeden Crawler, vom Desktop-Tool bis zur Cloud-Plattform.

1. Ziel festlegen

Das Ziel bestimmt, was du crawlst und mit welchen Einstellungen. Für eine Bestandsaufnahme brauchst du die komplette Website. Brechen die Klicks eines Seitentyps ein, reicht oft das betroffene Verzeichnis. Vor einem Relaunch crawlst du die Testumgebung und vergleichst sie mit der Live-Website.

Halte vorher fest, welche Hosts und Subdomains dazugehören, welche Seitentypen es gibt und welche Fragen der Crawl beantworten soll. Was ein Audit darüber hinaus umfasst, steht im Ratgeber SEO Audit.

2. Crawler wählen

Es gibt zwei Bauarten. Ein Desktop-Crawler ist ein Programm auf deinem Rechner. Wie viele URLs er schafft, hängt von Arbeitsspeicher und Festplatte ab, und der Rechner muss während des Crawls laufen. Ein Cloud-Crawler läuft auf den Servern des Anbieters. Er crawlt nach Zeitplan, und dein Team arbeitet mit denselben Daten. Die Tabelle zeigt, wofür sieben Crawler nach Angaben der Hersteller stehen.

CrawlerBauartWofür er steht (laut Hersteller)
Screaming Frog SEO SpiderDesktop für Windows, macOS und LinuxPrüft auf über 300 SEO-Probleme. 500 URLs crawlt er ohne Lizenz, empfohlen ist er für Crawls unter 2 Mio. URLs. JavaScript-Rendering, Crawl-Vergleich und Custom Extraction gehören zur Lizenz.
SitebulbDesktop und CloudAudits mit priorisierten Hinweisen („Hints“) und Visualisierungen. Sitebulb Desktop hat ein Standardlimit von 500.000 URLs je Audit, anhebbar auf 2 Mio. Für Sitebulb Cloud nennt der Hersteller 10 Mio. URLs je Audit.
Lumar (früher Deepcrawl)CloudNennt bis 450 URLs pro Sekunde ohne Rendering und 350 mit Rendering, gemessen in einem Test von 2022. Tempo und Zeitfenster des Crawls sind einstellbar.
BotifyCloudPlattform für sehr große Websites. Der SiteCrawler erfasst Millionen Seiten und rendert mit derselben Engine wie Googlebot. Der LogAnalyzer wertet Logfiles aus.
OncrawlCloudCrawlt Millionen URLs mit JavaScript-Rendering, ohne künstliche Grenzen bei Tempo, Tiefe oder Größe der Website. Wertet auch Logfiles aus.
JetOctopusCloudCrawl, Logfiles und Search-Console-Daten in einem Tool. Der Crawler schafft bis 250 Seiten pro Sekunde, das Tempo wählst du über die Zahl der Threads. Die Preise stehen auf der Website.
searchVIUCloudRendert jede URL in Chrome und crawlt die komplette Website jede Woche. Jede URL durchläuft über 100 Prüfungen. Neue Probleme kommen als Alert, und Page Watch prüft die wichtigsten Seiten zwischen den Crawls. Die Projektdaten liegen in der EU.

Die Angaben stammen von den Websites der Hersteller, abgerufen am 16.11.2026. Auch SEO-Suiten wie Ahrefs und Semrush haben mit „Site Audit“ einen Crawler, der laut Hersteller die ganze Website abruft und auf technische und On-Page-Fehler prüft. Für die Auswahl helfen vier typische Fälle.

  • Einzelne Analyse einer kleinen oder mittleren Website. Dafür eignen sich Screaming Frog und Sitebulb auf dem eigenen Rechner.
  • Große Website mit Hunderttausenden oder Millionen URLs. Hier kommen Lumar, Botify, Oncrawl, JetOctopus, Sitebulb Cloud und searchVIU infrage. Wie sich Cloud-Crawler für große Websites unterscheiden, zeigt die Seite Enterprise SEO Crawler im Vergleich.
  • Crawl und Logfiles in einem Tool. Botify, Oncrawl und JetOctopus werten laut Hersteller auch Logfiles aus. Bei searchVIU ist die Logfile-Analyse ein Zusatzmodul zum SEO-Monitoring.
  • Regelmäßige Crawls und Monitoring. Geplante Crawls bieten laut Hersteller auch Screaming Frog, Lumar und Semrush. searchVIU crawlt jede Woche komplett und prüft die wichtigsten Seiten dazwischen mit Page Watch, kontinuierlich über den Tag verteilt.

Was Desktop- und Cloud-Crawler im Alltag unterscheidet, zeigt der Vergleich Screaming Frog Alternative. Wo die Anbieter deine Crawl-Daten speichern, steht in SEO-Crawler mit Daten in der EU.

3. Crawl einstellen

Kleine Websites lassen sich mit den Voreinstellungen crawlen. Bei großen Websites klärst du diese Punkte vor dem Start.

  • Start-URLs und Umfang. Lege fest, wo der Crawl startet, welche Hosts und Verzeichnisse dazugehören und wie der Crawler mit URL-Parametern umgeht.
  • Weitere URL-Quellen. Über Links findet ein Crawler nur verlinkte Seiten. Mit XML-Sitemaps, URLs aus der Search Console und eigenen URL-Listen tauchen auch Seiten ohne internen Link auf. Wie du solche verwaisten Seiten findest, zeigt die Anleitung zu Orphan Pages.
  • JavaScript-Rendering. Entstehen Inhalte oder Links erst im Browser, muss der Crawler rendern. Google verarbeitet JavaScript laut der Doku zu JavaScript SEO in den drei Phasen Crawling, Rendering und Indexierung. Wie Google dabei vorgeht, erklärt der Ratgeber JavaScript SEO Grundlagen. Screaming Frog crawlt in der Voreinstellung nur den Quelltext. Mit Rendering dauert der Crawl länger, weil der Crawler jede Seite samt Ressourcen lädt. Mehr dazu steht auf der Seite JavaScript SEO.
  • Kennung und Gerät. Crawle als Smartphone, weil Google laut der Doku zur Mobile-First-Indexierung die mobile Version einer Website für Indexierung und Ranking nutzt. Bot-Schutz und CDN sperren unbekannte Crawler oft. Eine eigene Kennung und eine feste IP lassen sich bei der IT freischalten. searchVIU crawlt als searchVIUbot von der festen IP 35.190.196.200. Mehr dazu steht im Ratgeber Bot-Schutz und SEO.
  • Tempo. Stimme Zeitpunkt und Tempo mit der IT ab. Das empfiehlt auch Screaming Frog, dessen Crawler in der Voreinstellung mit 5 Threads läuft. Oncrawl nennt 2 bis 5 URLs pro Sekunde als guten Wert für die meisten Websites. searchVIU stellt die Zahl gleichzeitiger Anfragen je Projekt ein und stimmt sie mit deiner IT ab.
  • robots.txt. Für die Sicht der Suchmaschinen folgt der Crawler der robots.txt. Laut Google regelt sie den Abruf und ist kein Mittel, um eine Seite aus dem Index zu halten.
  • Zugang. Eine Testumgebung hinter Passwortschutz oder IP-Sperre braucht Zugangsdaten oder eine Freigabe.

4. Crawlen

Starte mit einem Testlauf über einige hundert URLs. Prüfe, ob die Statuscodes plausibel sind, ob die gerenderte Seite vollständig ist und ob der Crawler in eine Falle läuft, etwa in Kalender, Filterkombinationen oder Session-Parameter. Viele Antworten mit 403 oder 429 deuten auf einen Bot-Schutz hin.

Danach folgt der volle Lauf. Behalte Antwortzeiten und Fehlerquote im Blick und senke das Tempo, wenn der Server langsamer wird. Die Dauer hängt von der Zahl der URLs, vom Tempo und vom Rendering ab. Screaming Frog rechnet vor, dass eine Website mit 1 Mio. Seiten bei 5 URLs pro Sekunde über zwei Tage braucht. Ein Rechenbeispiel für searchVIU steht im Use Case Große Websites crawlen.

5. Auswerten

Werte die Ergebnisse je Seitentyp aus. Ein Fehler im Template betrifft alle Seiten eines Typs und ist damit eine einzige Aufgabe. Diese Bereiche gehören in jede technische Analyse.

BereichWas du im Crawl prüfstWas Google dazu schreibt
Statuscodes4xx und 5xx, interne Links auf FehlerseitenURLs mit 4xx indexiert Google nicht. Bei 5xx und 429 crawlt Google vorübergehend langsamer.
WeiterleitungenKetten, Schleifen, interne Links auf weiterleitende URLsGoogles Crawler folgen höchstens 10 Weiterleitungen in Folge.
Indexierbarkeitnoindex im HTML und im HTTP-Header, Sperren in der robots.txtEin noindex wirkt nur, wenn die Seite nicht per robots.txt gesperrt ist.
CanonicalsFehlende Angabe, Ziel leitet weiter oder ist nicht indexierbar, Widerspruch zu hreflangWeiterleitungen und rel="canonical" sind starke Signale, die Sitemap ist ein schwaches.
Title und DescriptionFehlend, doppelt oder auf einem ganzen Seitentyp gleichJede Seite soll einen Title haben. Das Snippet bildet Google vor allem aus dem Inhalt der Seite.
ÜberschriftenFehlende H1, dieselbe H1 auf vielen SeitenÜberschriften wie die H1 sind eine der Quellen, aus denen Google den Title-Link bildet.
Interne Links und KlicktiefeSeiten ohne internen Link, wichtige Seiten mit vielen Klicks Abstand zur Startseite, Links ohne hrefGoogle findet Links nur als a-Element mit href-Attribut.
hreflangFehlende Rückverweise, fehlende Selbstreferenz, Ziel nicht indexierbarVerweisen zwei Seiten nicht gegenseitig aufeinander, ignoriert Google die Angaben.
Strukturierte DatenFehlend je Seitentyp, SyntaxfehlerGoogle empfiehlt JSON-LD und den Test für Rich-Suchergebnisse.
Quelltext gegen gerendertes HTMLTitle, Canonical, Robots-Angaben, Inhalt und Links, die JavaScript ändertGoogle rendert mit Headless Chromium, sobald Ressourcen frei sind.

Einzelne Seiten prüfst du ohne Crawl mit den Gratis-Tools, etwa dem JavaScript Rendering Check, dem Redirect Checker oder dem Hreflang Checker. Alle Prüfungen von searchVIU stehen in der öffentlichen Prüfliste.

6. Priorisieren

Ein Crawl liefert schnell Tausende Hinweise. Sortiere sie nach der Zahl betroffener Seiten und nach den Klicks dieser Seiten aus der Search Console. Nach oben gehört, was Crawling oder Indexierung von Seiten mit Klicks verhindert. Ein fehlender Title auf drei Seiten ohne Traffic kann warten. Zu jeder Aufgabe gehören Ursache, Seitentyp, Beispiel-URLs und die Zahl betroffener Seiten.

7. Wiederholen und vergleichen

Ein Crawl ist eine Momentaufnahme. Nach jeder Korrektur crawlst du erneut und prüfst, ob die Änderung live ist. Der Vergleich mit dem Crawl davor zeigt neue Fehlerseiten, verschwundene Seiten und geänderte Titles, Canonicals oder Robots-Angaben. Screaming Frog vergleicht zwei Crawls laut Hersteller im Speichermodus „Database Storage“ und mit Lizenz. Cloud-Crawler bewahren frühere Crawls auf dem Server auf. Sinnvoll ist ein fester Rhythmus, etwa jede Woche oder nach jedem Release.

Wie liest du einzelne On-Page-Elemente gezielt aus?

Title, Description, H1, Canonical, Robots-Angaben, hreflang und strukturierte Daten erfasst ein SEO-Crawler von selbst. Für alles andere gibt es Custom Extraction. Du beschreibst mit einer Regel, welche Stelle der Seite der Crawler auslesen soll, und bekommst den Wert als eigene Spalte je URL.

Typische Fälle sind Preis und Verfügbarkeit einer Produktseite, das letzte Breadcrumb-Element, das Datum eines Artikels, die Zahl der Produkte auf einer Kategorieseite oder Bilder ohne alt-Attribut. So gehst du vor.

  1. Öffne eine Beispielseite im Browser, untersuche das Element und notiere den XPath oder den CSS-Selektor.
  2. Lege die Regel im Crawler an und teste sie an zwei bis drei URLs je Seitentyp.
  3. Lies aus dem gerenderten HTML aus, wenn der Wert erst per JavaScript auf die Seite kommt.
  4. Begrenze die Regel auf den passenden Seitentyp, etwa über ein URL-Muster.
  5. Werte die neue Spalte zusammen mit Statuscode, Indexierbarkeit und Klicks aus.

Die folgenden drei XPath-Ausdrücke zeigen das Prinzip. Pass sie an das Markup deiner Website an.

# Preis einer Produktseite //span[@itemprop="price"]/@content # Letztes Breadcrumb-Element //nav[@aria-label="Breadcrumb"]//li[last()] # Bilder ohne alt-Attribut zählen count(//img[not(@alt)])

Screaming Frog liest laut Hersteller per CSS Path, XPath oder Regex aus. Die Funktion gehört zur Lizenz. Lumar beschreibt seinen Crawler als fähig, nahezu jede Information aus einer Seite zu extrahieren. searchVIU liest per XPath und Regex aus dem gerenderten HTML aus, auch strukturiert, etwa Filtergruppen mit ihren Werten. Jede Regel wird eine eigene Spalte im Crawl und steht in den Reports bereit. Page Watch prüft auf den wichtigsten Seiten, ob eine Extraktion plötzlich leer bleibt. Beim Einrichten der Regeln hilft der Support von searchVIU.

Wie prüfst du, wie Suchmaschinen deine Website crawlen und indexieren?

Dein eigener Crawl zeigt, was ein Crawler auf der Website vorfindet. Was Google tatsächlich abruft und in den Index nimmt, zeigen die Search Console und die Logfiles deines Servers. Google garantiert laut eigener Doku für keine Seite, dass sie gecrawlt oder indexiert wird. Der Abgleich lohnt sich deshalb für jeden wichtigen Seitentyp.

QuelleWas sie zeigtWofür du sie nutzt
URL-Prüfung in der Search ConsoleDie indexierte Version einer URL mit letztem Crawling, Seitenabruf, Angaben zu Crawling und Indexierung sowie der vom Nutzer angegebenen und der von Google ausgewählten kanonischen URL. Der Live-Test ruft die URL neu ab und zeigt HTML und Screenshot.Einzelne URL prüfen, etwa nach einer Korrektur
Bericht „Seitenindexierung“Welche Seiten Google finden und indexieren kann, mit Gründen wie „Gecrawlt – zurzeit nicht indexiert“, „Gefunden – zurzeit nicht indexiert“ oder „Seite mit Weiterleitung“. Die Liste der Beispiele ist auf 1.000 Zeilen beschränkt.Muster erkennen, die ganze Seitentypen betreffen
Bericht „Crawling-Statistik“Crawling-Anfragen insgesamt, Gesamtgröße des Downloads und durchschnittliche Reaktionszeit, aufgeteilt nach Antwort, Dateityp, Zweck und Googlebot-Typ. Dazu kommt der Hoststatus. Den Bericht gibt es nur für Properties auf Stammebene.Serverprobleme und Veränderungen im Crawling erkennen
Sitemaps-BerichtJe Sitemap den Status, den Zeitpunkt „Zuletzt gelesen“ und die Zahl „Erkannte Seiten“Prüfen, ob Google deine Sitemaps liest
Logfiles des ServersJeden Abruf eines Bots mit URL, Zeitpunkt, Statuscode und KennungSehen, welche URLs Googlebot und andere Bots wirklich abrufen

Die Berichte der Search Console zeigen Summen und Beispiel-URLs. Die Logfiles zeigen jeden einzelnen Abruf. Im Log kann sich allerdings jeder Bot als Googlebot ausgeben. Google nennt in der Doku Anfragen von Google-Crawlern prüfen zwei Wege, echte Zugriffe zu erkennen, den Reverse-DNS-Lookup der IP-Adresse und den Abgleich mit den veröffentlichten IP-Bereichen. Wie du Logfiles auswertest, steht im Ratgeber Logfile-Analyse.

Aussagekräftig wird das Bild im Abgleich mit dem eigenen Crawl. Drei Fragen helfen dabei.

  • Haben alle indexierbaren Seiten aus dem Crawl Impressionen in der Search Console?
  • Ruft Googlebot laut Logfile URLs ab, die im Crawl fehlen oder dort nicht indexierbar sind?
  • Stehen wichtige Seitentypen im Bericht „Seitenindexierung“ unter „Gecrawlt – zurzeit nicht indexiert“?

Für Bing gibt es in den Bing Webmaster Tools eine eigene URL-Prüfung. Die Berichte der Search Console im Detail erklären die Ratgeber Google Indexierung und Crawling-Fehler in der Search Console.

So sieht das in searchVIU aus

searchVIU crawlt deine komplette Website jede Woche und rendert jede URL in Chrome. Nach jedem Crawl weißt du, was sich geändert hat und welche Befunde Klicks betreffen.

  • Jede URL durchläuft über 100 Prüfungen, von Statuscodes bis Structured Data.
  • Themenreports bündeln Canonicals, hreflang, JavaScript-Rendering, strukturierte Daten und interne Links.
  • Im Cockpit „SEO Issues“ steht deine Arbeitsliste je Seitentyp, gewichtet nach betroffenen Seiten und Google-Klicks.
  • Der Vergleich mit dem Crawl davor zeigt, was neu ist und was behoben wurde.
  • Neue Probleme kommen als Alert per E-Mail, Slack, Teams oder Webhook zu dir.
  • Zwischen den Crawls prüft Page Watch die wichtigsten Seiten, kontinuierlich über den Tag verteilt.

searchVIU crawlt Websites mit Millionen URLs, auch mehrere Millionen jede Woche. Wie der Crawler arbeitet, zeigt die Seite SEO Crawler. Die Arbeitsliste im Detail zeigt die Seite SEO Audit Tool.

Häufige Fragen

Was ist ein SEO-Crawler und wie funktioniert er?

Ein SEO-Crawler ist ein Programm, das eine Website wie der Crawler einer Suchmaschine abruft. Er startet bei einer URL, folgt den Links und speichert zu jeder Seite Daten wie Statuscode, Title, Canonical, Robots-Angaben und Links. Viele Crawler rendern die Seite zusätzlich in einem Browser, damit auch Inhalte aus JavaScript erfasst werden.

Wie crawle ich eine Website für die technische SEO-Analyse?

In sieben Schritten. Du legst das Ziel fest, wählst einen Crawler, stellst Start-URLs, Rendering, Kennung und Tempo ein, crawlst, wertest je Seitentyp aus, priorisierst nach betroffenen Seiten und Klicks und wiederholst den Crawl nach den Korrekturen.

Wie kann man einen SEO-Crawler zur Optimierung einer Website nutzen?

Der Crawl zeigt, wo Seiten fehlerhaft antworten oder von der Indexierung ausgeschlossen sind, wo Weiterleitungen und Canonicals falsch gesetzt sind und welche Seiten zu wenige interne Links haben. Daraus entsteht eine Liste mit Aufgaben je Seitentyp. Der nächste Crawl zeigt, ob die Fehler behoben sind.

Welcher SEO-Crawler passt zu welcher Website?

Für einzelne Analysen kleiner und mittlerer Websites eignen sich Desktop-Crawler wie Screaming Frog und Sitebulb. Bei großen Websites und regelmäßigen Crawls kommen Cloud-Crawler wie Lumar, Botify, Oncrawl, JetOctopus und searchVIU infrage. searchVIU passt, wenn jede URL gerendert werden soll und du zwischen den Crawls Alerts brauchst.

Wie analysiere ich einzelne On-Page-Elemente mit einem Crawl?

Standardelemente wie Title, Description, H1 und Canonical liefert jeder SEO-Crawler. Weitere Elemente liest du per Custom Extraction aus, also mit einer Regel als XPath, CSS-Selektor oder Regex. Das Ergebnis steht als eigene Spalte je URL im Crawl.

Wie kann ich überprüfen, wie Suchmaschinen meine Website crawlen und indexieren?

Für Google nutzt du die Search Console. Die URL-Prüfung zeigt den Stand einer einzelnen URL, der Bericht „Seitenindexierung“ die Gründe für fehlende Seiten und der Bericht „Crawling-Statistik“ die Abrufe von Googlebot. Die Logfiles deines Servers zeigen jeden Abruf aller Bots. Ein eigener Crawl ergänzt beides um die Sicht auf die komplette Website.

Brauche ich JavaScript-Rendering beim Crawlen?

Ja, sobald Inhalte, Links oder Angaben wie Title und Canonical per JavaScript entstehen oder geändert werden. Ohne Rendering sieht der Crawler nur den Quelltext. Der Vergleich von Quelltext und gerendertem HTML zeigt, was JavaScript ändert.

Kann ein Crawl meinen Server überlasten?

Ja, wenn das Tempo zu hoch ist. Stimme Zeitpunkt und Zahl gleichzeitiger Anfragen mit der IT ab und beobachte die Antwortzeiten. searchVIU halbiert das Tempo des ganzen Crawls, sobald der Server mit HTTP 429 antwortet.

Wie oft sollte ich meine Website crawlen?

Nach jeder größeren Änderung und in einem festen Rhythmus. searchVIU crawlt die komplette Website jede Woche und prüft die wichtigsten Seiten dazwischen mit Page Watch.

searchVIU crawlt deine Website jede Woche, rendert jede URL in Chrome und vergleicht jeden Crawl mit dem davor. Was der Crawler erfasst und wie er sich auf deinem Server verhält, zeigt die Seite SEO Crawler.

Demo anfragen

Quellen

Abgerufen am 16.11.2026. Ist eine Angabe veraltet oder fehlt etwas, schreib uns.

  1. Google Search Central, In-depth guide to how Google Search works: https://developers.google.com/search/docs/fundamentals/how-search-works
  2. Google Search Central, Understand JavaScript SEO basics: https://developers.google.com/search/docs/crawling-indexing/javascript/javascript-seo-basics
  3. Google Search Central, Mobile-first indexing best practices: https://developers.google.com/search/docs/crawling-indexing/mobile/mobile-sites-mobile-first-indexing
  4. Google Search Central, Introduction to robots.txt: https://developers.google.com/search/docs/crawling-indexing/robots/intro
  5. Google Search Central, Block Search indexing with noindex: https://developers.google.com/search/docs/crawling-indexing/block-indexing
  6. Google Search Central, How to specify a canonical URL: https://developers.google.com/search/docs/crawling-indexing/consolidate-duplicate-urls
  7. Google Search Central, Influencing title links: https://developers.google.com/search/docs/appearance/title-link
  8. Google Crawling Infrastructure, HTTP status codes and network errors: https://developers.google.com/crawling/docs/troubleshooting/http-status-codes
  9. Google Crawling Infrastructure, Verify requests from Google crawlers and fetchers: https://developers.google.com/crawling/docs/crawlers-fetchers/verify-google-requests
  10. Search-Console-Hilfe, Bericht zur Seitenindexierung: https://support.google.com/webmasters/answer/7440203