Warum fehlen Seiten im Google-Index und was hilft?

Crawling, Rendering, Indexierung

Google beschreibt die Suche in drei Stufen. Beim Crawling lädt der Googlebot Text, Bilder und Videos von Seiten, die er über Links oder Sitemaps gefunden hat. Dabei rendert Google die Seite und führt JavaScript aus. Bei der Indexierung analysiert Google den Inhalt und speichert ihn im Index. Erst danach kann eine Seite für eine Suchanfrage ausgeliefert werden.

Google gruppiert beim Indexieren ähnliche Seiten und wählt eine davon als kanonische URL. Nur sie erscheint in der Regel in den Ergebnissen. Google schreibt außerdem ausdrücklich, dass nicht jede verarbeitete Seite indexiert wird. Eine Garantie gibt es auch dann nicht, wenn technisch alles stimmt.

Den Bericht „Seitenindexierung“ lesen

Du findest den Bericht in der Search Console unter „Indexierung“ und „Seiten“. Er teilt bekannte URLs in indexiert und nicht indexiert und nennt für jede Gruppe einen Grund. Die Beispiel-Liste zu einem Grund zeigt höchstens 1.000 URLs. Bei großen Websites siehst du dort also nur einen Ausschnitt.

Ein Grund ist erst einmal eine Beschreibung. Ob du handeln musst, hängt davon ab, ob die URL in den Index gehört.

Daneben gibt es Warnungen für Seiten, die im Index stehen. „Indexiert, obwohl durch robots.txt-Datei blockiert“ heißt, dass Google die URL über Links kennt und ohne Inhalt aufgenommen hat. Soll sie raus, gibst du die URL in der robots.txt frei und setzt noindex.

Wie ernst sind 404- und Serverfehler?

Ein 404 auf einer URL schadet den übrigen Seiten deiner Website nicht. Das schreibt Google im Search Central Blog. Laut aktueller Dokumentation bremsen 4xx-Fehler außer 429 auch das Crawling nicht, Google ruft die betroffene URL nur nach und nach seltener ab. Viele 404-Fehler im Bericht sind deshalb noch kein Ranking-Problem. Wichtig werden sie, wenn Seiten betroffen sind, die Besucher oder Links haben.

• Du verlinkst selbst auf die URL oder sie steht in der Sitemap. Dann korrigierst du den Link oder den Sitemap-Eintrag. Diese Fälle empfiehlt die Search-Console-Hilfe zuerst.
• Ein fremder Link zeigt auf eine falsche URL und bringt Besucher, etwa wegen eines Tippfehlers. Dann leitest du die falsche URL per 301 auf die richtige um, wie es Google für diesen Fall vorschlägt.
• Die URL hatte Klicks oder Backlinks und der Inhalt liegt jetzt woanders. Auch hier hilft eine 301-Weiterleitung auf die passende Seite.
• Alle übrigen 404 dürfen bleiben. Das gilt auch für fremde Links auf URLs, die es bei dir nie gab und die niemand aufruft.

Wie du 404-Fehler mit GA4, Search Console und Crawl findest und nach Wirkung sortierst, steht im Ratgeber 404-Fehler.

Wiederholte Serverfehler

Serverfehler wiegen schwerer. Bei 5xx-Antworten drosselt Google das Crawling der Website, und zwar umso stärker, je mehr URLs betroffen sind. Bereits indexierte URLs bleiben zunächst im Index. Liefern sie dauerhaft einen Serverfehler, entfernt Google sie. Ein kurzer Ausfall wirft Seiten deshalb nicht sofort aus dem Index. Tauchen 5xx-Fehler im Bericht immer wieder auf, prüfst du mit den Server-Logs, welche Verzeichnisse oder Dateitypen betroffen sind, und klärst die Ursache mit Entwicklung oder Hosting.

Wo du Serverfehler, Probleme beim Abruf der robots.txt und die übrigen Crawling-Fehler in der Search Console findest, zeigt der Ratgeber Crawling-Fehler in der Search Console.

404-Fehler für URLs aus Skripten

Manchmal meldet die Search Console 404-Fehler für Adressen, auf die keine Seite verlinkt. Im Quelltext stehen sie dann nur in einem Script, oft als relativer Pfad in einer Zeichenkette. Googlebot sucht auch in JavaScript nach Links und ruft solche Zeichenketten ab. Laut Google kannst du diese 404-Fehler ignorieren, wenn die URLs auf deiner Website gar nicht existieren sollen. Prüfen lässt sich das schnell. Suche den Pfad im Quelltext einer Seite. Steht er nur innerhalb eines script-Elements, liegt genau dieser Fall vor.

Häufige Ursachen

noindex an der falschen Stelle

Ein noindex aus der Staging-Umgebung, das beim Deployment mit live geht, ist ein Klassiker. Google liest die Anweisung im Meta-Tag oder im HTTP-Header. Beide wirken gleich.

Wichtig ist die Reihenfolge der Sperren. Sperrt die robots.txt die URL, sieht Google das noindex nie. Die Seite kann dann trotzdem im Index landen, wenn andere Seiten auf sie verlinken.

noindex per JavaScript

Steht noindex im ursprünglichen HTML, kann Google das Rendern überspringen. Ein Script, das das noindex später entfernt, kommt dann nicht mehr zum Zug. So steht es in den JavaScript-SEO-Grundlagen von Google. Für die Indexierung zählt deshalb, was der Server ausliefert und was nach dem Rendern im HTML steht. Beides solltest du prüfen.

Canonical auf eine andere URL

Ein Canonical sagt Google, welche URL du bevorzugst. Zeigt es versehentlich auf die Startseite, auf eine Weiterleitung oder auf eine andere Sprachversion, fällt die eigentliche Seite aus dem Index. Mehr dazu im Ratgeber Canonical.

Qualität und Duplikate

Viele fast gleiche Seiten, etwa Filterkombinationen im Shop, landen oft unter „Gecrawlt – zurzeit nicht indexiert“ oder als Duplikat. Ein Antrag in der Search Console ändert daran wenig. Hier helfen weniger und eigenständigere Seiten.

URLs prüfen

Das URL-Prüftool in der Search Console zeigt für eine einzelne URL die zuletzt indexierte Version. Mit „Live-URL testen“ ruft es die Seite neu ab. Diese Felder sind für die Indexierung wichtig.

Ein erfolgreicher Live-Test heißt nur, dass Google die Seite abrufen kann und keine Sperre findet. Qualität, manuelle Maßnahmen und die Wahl der kanonischen URL prüft er nicht. Für viele URLs auf einmal reicht das Tool nicht. Dann hilft ein Crawl der ganzen Website, der Statuscodes, noindex, Canonicals und robots.txt für jede URL zusammen ausgibt.

Indexierung beschleunigen

Mit „Indexierung beantragen“ im URL-Prüftool bittest du Google, eine URL neu zu crawlen. Die Anfragen sind pro Tag begrenzt, und mehrfaches Einreichen derselben URL bringt nichts. Laut Google kann ein Crawl einige Tage bis einige Wochen dauern, und auch danach ist die Aufnahme nicht garantiert. Für viele URLs empfiehlt Google eine Sitemap.

1. Prüfe mit dem URL-Prüftool, ob Crawling und Indexierung erlaubt sind.
2. Verlinke die Seite intern von Seiten, die Google regelmäßig besucht.
3. Nimm die URL in die XML-Sitemap auf, mit der kanonischen Adresse. Details im Ratgeber XML-Sitemap.
4. Setze ein selbstreferenzierendes Canonical.
5. Beantrage die Indexierung einmal und warte ab.
6. Steht die Seite nach Wochen unter „Gecrawlt – zurzeit nicht indexiert“, arbeite am Inhalt.

Häufige Fehler

• Die robots.txt sperrt Seiten, die per noindex aus dem Index sollen. Google sieht das noindex dann nicht.
• Nach einem Release steht das noindex der Testumgebung auf der Live-Seite.
• Sitemap und Canonical nennen unterschiedliche URLs für dieselbe Seite.
• Jede nicht indexierte URL wird als Fehler behandelt. Weiterleitungen, Alternativen mit Canonical und gewollte noindex-Seiten sind normal.
• Dieselbe URL wird täglich neu eingereicht.
• Nach einer Migration bleiben die Fehler im Bericht liegen. In den Wochen danach gehört der Bericht auf die Wochenliste.

Häufige Fragen