Cloudflare steht vor deinem Server und entscheidet über SEO und GEO mit.

Was bedeutet Cloudflare für SEO?

Cloudflare kennst du vielleicht als CDN, Sicherheitsdienst oder DNS-Anbieter. Für SEO zählt vor allem, dass Cloudflare als Reverse Proxy zwischen dem gesamten Traffic und deinem eigentlichen Server steht. Laut W3Techs nutzen 27,3 Prozent aller Websites Cloudflare (Stand Oktober 2026).

Ein Bild dafür ist der Türsteher vor einem Club. Der Club ist dein Server, Cloudflare steht an der Tür. Der Türsteher entscheidet, wer reinkommt, wer abgewiesen wird und wer sich ausweisen muss. Wird jemand abgewiesen, erfährt der Club nichts davon. Das bringt Tempo, Schutz vor DDoS-Angriffen und Caching am Rand des Netzes. Es schafft aber einen blinden Fleck, den viele SEOs nicht auf dem Schirm haben.

Ob eine Website hinter Cloudflare liegt, zeigt unsere Technologie-Erkennung.

Warum wird das für GEO noch wichtiger?

Neben Suchmaschinen holen sich heute KI-Systeme deine Inhalte. Grob gibt es drei Arten von Crawlern.

Googles KI-Übersichten nutzen den normalen Googlebot.

Daraus entsteht ein Dilemma. Sperrst du alle KI-Crawler, schützt du deine Inhalte vor ungefragtem Training, fehlst aber in KI-Antworten. Lässt du alle rein, trainieren fremde Modelle mit deinen Inhalten. Die Einstellungen in Cloudflare entscheiden mit, in welchen KI-Antworten deine Marke überhaupt vorkommen kann. Für ChatGPT, Perplexity oder Gemini zählt, ob ihre Crawler deine Seiten abrufen dürfen und das auch können.

Deine Server-Logs sind unvollständig

Bei einer Logfile-Analyse wertest du aus, was dein Server gesehen hat. Dein Server sieht aber nur, was Cloudflare durchlässt. In seinen Logs fehlen

• blockierte Anfragen von Bots, im schlechtesten Fall auch von Googlebot,
• Anfragen, die eine JavaScript-Challenge oder ein CAPTCHA bekommen haben,
• Anfragen, die Cloudflare komplett aus dem Cache beantwortet hat,
• Anfragen, die ein Worker am Rand des Netzes beantwortet hat,
• Anfragen, die das Rate Limiting gedrosselt hat.

Sicherheitsfunktionen, die Crawler treffen können

Cloudflare führt eine Liste verifizierter Bots, zu denen Googlebot und Bingbot gehören. Eigene Regeln können diese Freigabe aber aushebeln. Fehler in der Konfiguration fallen oft erst Monate später auf.

Caching und was Crawler sehen

Liefert Cloudflare eine Seite aus dem Cache, kann sie leicht veraltet sein. Nach einer Änderung am Inhalt zählt deshalb, ob und wann der Cache geleert wird. Wie das in einem Onlineshop aussieht, zeigt unsere Fallstudie zum HTML-Caching mit Cloudflare.

Wo findest du was im Dashboard?

Viele Auswertungen hängen am Tarif, etwa Log Explorer oder die detaillierte Bot-Analyse. Frag deine IT, welcher Tarif gebucht ist. Ohne Zugang zum Dashboard zeigt Cloudflare Radar öffentliche Daten zu KI-Crawlern im ganzen Netz, etwa welche Bots am häufigsten blockiert werden.

Zugriff bei der IT anfragen

In den meisten Unternehmen verantwortet die IT Cloudflare, mit DNS, Sicherheitsregeln und Infrastruktur. Admin-Rechte brauchst du dafür nicht. Cloudflare vergibt Rechte fein abgestuft, und ein Lesezugriff auf wenige Bereiche reicht.

1. Konkret fragen. „Ich brauche Lesezugriff auf Security Events, um zu prüfen, ob Googlebot blockiert wird.“
2. Anlass nennen. Ein Rückgang beim Crawling oder in der Indexierung im letzten Monat ist ein guter Grund.
3. Klein anfangen. Erst ein Bereich, dann mehr, wenn der Nutzen sichtbar ist.
4. Alternative anbieten. Wenn kein Zugang möglich ist, bitte um eine regelmäßige Auswertung, etwa alle Security Events mit „Googlebot“ im User Agent der letzten 30 Tage.
5. Bei Änderungen dabei sein. Bitte darum, vor neuen Sicherheitsregeln gefragt zu werden.

Als indirekter Hinweis bleibt der Bericht „Crawling-Statistiken“ in der Search Console. Fallen die Crawling-Anfragen plötzlich ab, kann eine Blockade dahinterstecken.

robots.txt über Cloudflare

Managed robots.txt

Mit managed robots.txt verwaltet Cloudflare Regeln für KI-Crawler direkt am Rand des Netzes, in allen Tarifen. Gibt es schon eine robots.txt, setzt Cloudflare seine Regeln davor und liefert beides als eine Datei aus. Gibt es keine, erzeugt Cloudflare eine mit Disallow-Regeln für bekannte KI-Crawler. Laut Cloudflare nutzten im September 2025 über 3,8 Millionen Domains diese Funktion.

Prüf nach dem Einschalten immer die live ausgelieferte Datei. Wer komplexe Regeln pflegt, etwa je Verzeichnis, behält die robots.txt besser selbst in der Hand.

Content Signals

Seit September 2025 gibt es die Content Signals Policy. Sie ergänzt die robots.txt um Angaben, wofür Inhalte genutzt werden dürfen.

Bei managed robots.txt setzt Cloudflare search=yes und ai-train=no, ai-input lässt es offen. Content Signals sind Wünsche und keine technische Sperre. Wer KI-Crawler wirklich aussperren will, braucht zusätzlich Regeln in AI Crawl Control oder der WAF.

robots.txt durchsetzen

Im Dezember 2024 hat Cloudflare unter dem Namen Robotcop eine Funktion vorgestellt, die zeigt, welche KI-Dienste deine robots.txt einhalten. Auf Knopfdruck übersetzt sie die Regeln für KI-Bots in eine Firewall-Regel. Heute gehört das zu AI Crawl Control, in allen Tarifen.

Google-Extended und KI-Übersichten

Google-Extended steuert, ob Google Inhalte für das Training von Gemini und für Grounding in einigen anderen Google-Diensten nutzt. Laut Google hat das Token keinen Einfluss auf die Aufnahme in die Google Suche und kein Gewicht im Ranking. Für KI-Übersichten und den KI-Modus gelten die Regeln der Suche, also robots.txt für Googlebot und Snippet-Angaben wie nosnippet.

Was hat sich seitdem geändert?

Am 1. Juli 2026 hat Cloudflare die Einstellungen für KI-Crawler in drei Kategorien geteilt, Search, Agent und Training. Mehrzweck-Crawler wie Googlebot, Applebot und Bingbot werden laut Cloudflare blockiert, wenn du Training blockierst. Wer das verhindern wollte, musste vor dem 15. September 2026 in den Security Settings widersprechen. Für Domains, die seit dem 15. September 2026 neu zu Cloudflare kommen, sind Training und Agent auf Seiten mit Werbung standardmäßig blockiert.

Prüf deshalb, ob in deiner Zone ein Block für KI-Training aktiv ist und ob Googlebot und Bingbot danach noch durchkommen.

Checkliste

• Liegt die Website hinter Cloudflare, und welcher Tarif ist gebucht?
• Lesezugriff auf Security Events oder eine regelmäßige Auswertung ist vereinbart.
• Keine Länder-Sperre und keine WAF-Regel trifft Googlebot oder Bingbot.
• Die Einstellung für KI-Training ist bewusst gewählt, ihre Wirkung auf Googlebot geprüft.
• Die live ausgelieferte robots.txt entspricht dem, was du willst.
• Logfile-Analysen nutzen die Logs von Cloudflare, die des Servers reichen nicht.

Häufige Fehler

• Crawling-Analysen nur auf Basis der Server-Logs.
• Bot Fight Mode einschalten und danach nicht prüfen, ob Suchmaschinen durchkommen.
• KI-Training pauschal blockieren, ohne die Folgen für Mehrzweck-Crawler zu kennen.
• Managed robots.txt einschalten und die kombinierte Datei nie ansehen.
• Google-Extended sperren, um aus KI-Übersichten zu verschwinden.

Häufige Fragen