Robots.txt Vorabprüfung

Anwendungsfall

Stelle sicher, dass Änderungen an der robots.txt-Datei zum gewünschten Ergebnis führen und dass kein Traffic oder Umsatz verloren geht.

Vor allem bei großen Websites oder Websites mit vielen dynamischen Inhalten gibt es oft eine extrem hohe Anzahl von URLs. Das bedeutet, dass Google nicht mehr alle URLs crawlt und wichtige Unterseiten nicht indizieren kann. Um das “Crawl-Budget” optimal zu nutzen, ist es in solchen Fällen oft sinnvoll, Seiten über die robots.txt auszuschließen.

Es sollte sichergestellt werden, dass keine relevanten Seiten ausgeschlossen werden.

So können wir helfen

Bevor wir die robots.txt tatsächlich ändern, crawlen wir die Website mit der bei uns gespeicherten neuen Version und vergleichen den Crawl mit dem letzten Live-Crawl der Website. So können wir u.a. die folgenden strukturellen Faktoren überprüfen:

  • Können Inhalte mit Klicks oder Impressionen weiter indexiert werden - wenn nicht, welche?
  • Wurden wichtige Vertriebsseiten ausgelassen und sind Inhalte mit Klicks oder Impressionen intern nicht mehr verlinkt?
  • Gibt es extern verlinkte Seiten, die für den Googlebot nicht mehr crawlbar sind?
  • Sind relevante Seiten in der internen Linkstruktur zurückgefallen?