robots.txt Tester robots.txt für Google und KI-Bots testen.

Der Tester liest deine robots.txt und zeigt für jede URL, welcher Bot sie abrufen darf. Ändere Regeln im Editor und teste direkt neu.

Abruf als searchVIU Tools.

Wir speichern die Anfrage mit IP-Adresse, um das Tool zu betreiben. Mehr in der Datenschutzerklärung.
So wertet Google aus

Die längste passende Regel gewinnt.

Der Tester folgt den Regeln, die Google für die robots.txt dokumentiert. Sind eine Allow- und eine Disallow-Regel gleich lang, gilt Allow.

FallWas Google macht
Gruppe für den BotGoogle nimmt die Gruppe mit dem passenden User-agent. Gibt es keine, gilt die Gruppe für alle (*).
Platzhalter* steht für beliebige Zeichen, $ für das Ende der URL.
robots.txt fehlt (4xx außer 429)Google crawlt ohne Einschränkungen.
Serverfehler (5xx) und 429Google crawlt die Website bis zu 12 Stunden nicht. Danach nutzt Google bis zu 30 Tage die zuletzt abgerufene robots.txt.
GrößeGoogle liest die ersten 500 KiB, der Rest wird ignoriert.

Quelle: Google Search Central, „So interpretiert Google die robots.txt-Spezifikation“

Alle KI-Bots mit robots.txt-Token
KI-Bots

Jeder KI-Bot hat sein eigenes Token.

OpenAI, Anthropic und Perplexity schicken mehrere Bots mit verschiedenen Aufgaben. Wer sie gezielt steuern will, braucht für jeden eine eigene Regel.

  • TrainingGPTBot, ClaudeBot und CCBot sammeln Inhalte für KI-Modelle.
  • KI-SucheOAI-SearchBot und PerplexityBot holen Seiten für Antworten mit Quellen.
  • Google-ExtendedEin reines robots.txt-Token für Gemini, ohne eigenen Crawler.
  • GooglebotGoogle-Extended ändert nichts daran, wie Google deine Seiten für die Suche crawlt.
KI-Bots steuern im Use Case
robots.txtBeispiel
User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: *
Disallow: /warenkorb/
GPTBot gesperrtOAI-SearchBot erlaubtGooglebot erlaubt
Ressourcen

Gesperrte Dateien fehlen beim Rendern.

Sperrt die robots.txt JavaScript- oder CSS-Dateien, sieht Google die Seite anders als ein Browser. Auf Wunsch prüft der Tester alle Dateien, die deine Startseite lädt.

JavaScriptSind Skripte gesperrt, fehlen Inhalte und Links, die erst per JavaScript entstehen.
CSSOhne Stylesheets kann Google Layout und mobile Darstellung schlechter beurteilen.
BilderGesperrte Bilder tauchen nicht in der Google-Bildersuche auf.

Geprüft werden Dateien auf dem Host der robots.txt. Für Dateien auf anderen Hosts gilt deren eigene robots.txt.

JavaScript SEO und Rendering

Häufige Fragen

Was unterscheidet den Tester vom robots.txt Monitoring?
Der Tester zeigt den Stand in dem Moment, in dem du prüfst. Das Monitoring prüft die Datei alle 15 Minuten und meldet jede Änderung, auch wenn sie jemand anderes einspielt.
Ändert der Editor meine robots.txt?
Nein. Du testest eine Kopie im Browser. Die Datei auf deinem Server bleibt, wie sie ist.
Mit welcher Kennung holt der Tester die Datei?
Mit searchVIU Tools. Die Regeln wertet der Tester danach für jeden Bot einzeln aus, so wie Google es dokumentiert.
Warum steht bei einer URL „anderer Host“?
Eine robots.txt gilt nur für den Host, unter dem sie liegt. Für www.example.com und shop.example.com braucht es jeweils eine eigene Datei.
Wie viele URLs kann ich testen?
Bis zu 100 URLs oder Pfade je Prüfung. Im Editor kannst du danach beliebig oft neu testen.
Was speichert ihr von meiner Anfrage?
Wir speichern die eingegebenen Adressen, das Ergebnis und deine IP-Adresse, um das Tool zu betreiben. Seiteninhalte speichern wir dabei nicht. Die geprüfte Domain nutzen wir außerdem, um zu sehen, welche Unternehmen sich für das Thema interessieren.
Demo

Wie sieht deine Website in searchVIU aus?

Nach einer kurzen Abstimmung zu Crawler-Freigabe und Search Console zeigt dir Michael searchVIU mit deiner Website und einem Beispielprojekt. Die Demo dauert rund 30 Minuten.

Demo anfragen