robots.txt Tester robots.txt für Google und KI-Bots testen.
Der Tester liest deine robots.txt und zeigt für jede URL, welcher Bot sie abrufen darf. Ändere Regeln im Editor und teste direkt neu.
Verlinkte URLs
Wer darf was?
Prüfung läuft Bis zu {n} Kennungen je Prüfung. Zu viele Anfragen in kurzer Zeit. Warte bitte eine Minute und versuch es dann noch einmal. Diese Domain wurde nicht gefunden. Prüf bitte die Schreibweise. Die Website hat nicht rechtzeitig geantwortet. Versuch es bitte später noch einmal. Die Prüfung dauert ungewöhnlich lange. Versuch es bitte mit weniger URLs. Bitte gib eine gültige Adresse mit Domain ein, zum Beispiel www.beispiel-shop.de/. Die Prüfung hat nicht geklappt. Versuch es bitte noch einmal. Bitte nimm deine geschäftliche E-Mail-Adresse. Das hat nicht geklappt. Versuch es bitte noch einmal.Das Ergebnis ließ sich nicht darstellen.
{urls} {word} mit {agents} geprüft{end}
URL URLs . Es wurden nur die ersten 100 URLs geprüft.{found} Links auf {url} gefunden, {unique} verschiedene Ziele geprüft mit {agent} ({source}).{trunc}
Echte Nutzerdaten aus dem Chrome UX Report, 75. Perzentil, {ff}, {mode}.
je URL je Domain (Origin)Die längste passende Regel gewinnt.
Der Tester folgt den Regeln, die Google für die robots.txt dokumentiert. Sind eine Allow- und eine Disallow-Regel gleich lang, gilt Allow.
| Fall | Was Google macht |
|---|---|
| Gruppe für den Bot | Google nimmt die Gruppe mit dem passenden User-agent. Gibt es keine, gilt die Gruppe für alle (*). |
| Platzhalter | * steht für beliebige Zeichen, $ für das Ende der URL. |
| robots.txt fehlt (4xx außer 429) | Google crawlt ohne Einschränkungen. |
| Serverfehler (5xx) und 429 | Google crawlt die Website bis zu 12 Stunden nicht. Danach nutzt Google bis zu 30 Tage die zuletzt abgerufene robots.txt. |
| Größe | Google liest die ersten 500 KiB, der Rest wird ignoriert. |
Quelle: Google Search Central, „So interpretiert Google die robots.txt-Spezifikation“
Alle KI-Bots mit robots.txt-TokenJeder KI-Bot hat sein eigenes Token.
OpenAI, Anthropic und Perplexity schicken mehrere Bots mit verschiedenen Aufgaben. Wer sie gezielt steuern will, braucht für jeden eine eigene Regel.
- TrainingGPTBot, ClaudeBot und CCBot sammeln Inhalte für KI-Modelle.
- KI-SucheOAI-SearchBot und PerplexityBot holen Seiten für Antworten mit Quellen.
- Google-ExtendedEin reines robots.txt-Token für Gemini, ohne eigenen Crawler.
- GooglebotGoogle-Extended ändert nichts daran, wie Google deine Seiten für die Suche crawlt.
User-agent: GPTBot Disallow: / User-agent: OAI-SearchBot Allow: / User-agent: * Disallow: /warenkorb/
Gesperrte Dateien fehlen beim Rendern.
Sperrt die robots.txt JavaScript- oder CSS-Dateien, sieht Google die Seite anders als ein Browser. Auf Wunsch prüft der Tester alle Dateien, die deine Startseite lädt.
Geprüft werden Dateien auf dem Host der robots.txt. Für Dateien auf anderen Hosts gilt deren eigene robots.txt.
JavaScript SEO und RenderingHäufige Fragen
Was unterscheidet den Tester vom robots.txt Monitoring?
Ändert der Editor meine robots.txt?
Mit welcher Kennung holt der Tester die Datei?
Warum steht bei einer URL „anderer Host“?
Wie viele URLs kann ich testen?
Was speichert ihr von meiner Anfrage?
Wie sieht deine Website in searchVIU aus?
Nach einer kurzen Abstimmung zu Crawler-Freigabe und Search Console zeigt dir Michael searchVIU mit deiner Website und einem Beispielprojekt. Die Demo dauert rund 30 Minuten.