Die Logfile-Analyse zeigt, was Bots wirklich crawlen.

Was steht in einem Logfile?

Ein Access-Log hält jede Anfrage an den Server in einer Zeile fest. Die meisten Webserver schreiben dafür das Combined Log Format oder eine Variante davon. So sieht eine Zeile für einen Abruf durch den Googlebot aus. Den User-Agent haben wir gekürzt.

Viele Server und CDNs schreiben zusätzlich die Antwortzeit und den Host mit. Die Antwortzeit zeigt, wie schnell der Server Bots bedient. Den Host brauchst du, wenn mehrere Domains oder Subdomains auf demselben Server laufen.

Bots erkennen und prüfen

Den User-Agent kann jeder setzen. Wertest du Googlebot in den Logs aus, ohne die IP zu prüfen, zählst du Scraper mit. Google empfiehlt zwei Wege.

1. Reverse DNS. Du fragst den Hostnamen zur IP ab. Er muss auf googlebot.com, google.com oder googleusercontent.com enden. Danach prüfst du per Forward DNS, ob der Hostname wieder auf dieselbe IP zeigt.
2. IP-Listen. Google veröffentlicht die Bereiche als JSON, für den Googlebot in der Datei common-crawlers.json. Für Abrufe, die Nutzer auslösen, gibt es eigene Listen.

So sieht die Prüfung im Terminal aus.

Welche KI-Bots es gibt und wofür sie crawlen, erklärt der Ratgeber KI-Crawler.

Was zeigt die Logfile-Analyse?

Am meisten bringt die Analyse, wenn du sie mit einem Crawl und den Klicks aus der Search Console verbindest. Dann siehst du, ob die Seiten mit Klicks oft gecrawlt werden und wohin der Rest des Crawls geht.

Crawl Budget

Google beschreibt das Crawl Budget als die Menge an URLs, die Googlebot crawlen kann und will. Es setzt sich aus zwei Teilen zusammen. Das Crawl-Kapazitätslimit legt fest, wie viel Last Google deinem Server zumutet. Antwortet der Server mit 5xx-Fehlern oder Status 429, sinkt das Limit und Google crawlt weniger. Der Crawl-Bedarf hängt von der Größe der Website, der Popularität der URLs und davon ab, wie oft sich Inhalte ändern.

Google nennt diese Werte selbst eine grobe Schätzung. Für kleinere Websites reichen laut Google eine aktuelle Sitemap und ein Blick in den Bericht zur Seitenindexierung.

Filter-URLs: Was spart wirklich Crawls?

Filter und Sortierungen im Shop erzeugen schnell mehr URLs, als es Produkte gibt. Laut Google kann facettierte Navigation auf Basis von URL-Parametern unendliche URL-Räume erzeugen. Entscheidend ist, ob eine Methode Crawls spart oder nur die Indexierung steuert. Die Logs zeigen es dir direkt. Fragt Googlebot die Filter-URLs nach der Änderung weiter an, kostet die Methode weiter Crawls.

Canonical und nofollow nennt Google auf lange Sicht weniger wirksam als robots.txt oder Fragmente. noindex hilft bei der Indexierung, spart aber keine Crawls.

Das PRG-Muster

Post/Redirect/Get stammt aus der Formularverarbeitung und verhindert, dass ein Formular doppelt abgeschickt wird. Bei Filtern sind die Optionen dann Buttons in einem Formular statt Links. Wählt jemand einen Filter, geht eine POST-Anfrage an den Server. Er antwortet mit einer Weiterleitung auf die Seite mit den gefilterten Ergebnissen.

Google kann einen Link in der Regel nur crawlen, wenn er ein <a>-Element mit href-Attribut ist. Ein Filter-Button bietet Googlebot deshalb keine URL zum Folgen. Für Nutzer funktioniert der Filter wie gewohnt. Als Methode für Filter beschreibt Google PRG selbst nicht. Die Wirkung folgt aus der Regel für crawlbare Links, und du kannst sie in den Logs prüfen. Tauchen die Filter-URLs nach der Umstellung dort nicht mehr auf, greift das Muster.

Zwei Dinge gehören dazu. Filter, die als eigene Landingpage ranken sollen, etwa „rote Sneaker“, brauchen weiter eine normale, verlinkte URL. Die Ergebnis-URL nach der Weiterleitung bleibt erreichbar. Steht sie in der Sitemap oder ist sie von außen verlinkt, findet Google sie trotzdem.

Crawling-Statistik der Search Console oder Logfiles?

Die Crawling-Statistik in der Search Console ist ohne Aufwand verfügbar und ein guter Einstieg. Sie zeigt die Anfragen von Google, die Antwortzeit, den Host-Status und eine Aufschlüsselung nach Statuscode, Dateityp, Zweck und Googlebot-Typ. Bricht die Kurve ein, ist das oft der Anlass, in die Logs zu schauen.

Logs beschaffen

1. Klär mit IT oder Hosting, wo die Access-Logs liegen. Das sind der Webserver, der Load Balancer oder das CDN.
2. Nutzt ihr ein CDN wie Cloudflare, gehören dessen Logs dazu. Anfragen, die das CDN aus dem Cache beantwortet, erreichen den Server nie und fehlen in seinen Logs.
3. Leg fest, wie lange die Logs aufbewahrt werden. Für einen Vergleich vor und nach einem Release oder Relaunch brauchst du die Wochen davor.
4. Filter früh auf Bots. Für SEO reichen die Zeilen von Suchmaschinen und KI-Bots.
5. Klär den Datenschutz. IP-Adressen können personenbezogene Daten sein (EuGH, Urteil vom 19.10.2016, C-582/14, Breyer). Keine Rechtsberatung.

Häufige Fehler

• Googlebot nur am User-Agent erkennen.
• Nur die Logs des Ursprungsservers auswerten, obwohl ein CDN davor sitzt.
• Nur einen Tag betrachten. Crawl-Muster zeigen sich erst über mehrere Wochen.
• Seiten auf noindex setzen, um Crawl Budget zu sparen.
• Logs erst suchen, wenn der Crawl schon eingebrochen ist. Dann fehlt der Vergleich mit vorher.

Häufige Fragen