llms.txt Checker llms.txt prüfen oder direkt erstellen.
Der Checker liest deine llms.txt und prüft Aufbau, Links und robots.txt-Sperren für KI-Bots. Gibt es keine Datei, erstellt er einen Entwurf aus deiner Sitemap.
Verlinkte URLs
Wer darf was?
Prüfung läuft Bis zu {n} Kennungen je Prüfung. Zu viele Anfragen in kurzer Zeit. Warte bitte eine Minute und versuch es dann noch einmal. Diese Domain wurde nicht gefunden. Prüf bitte die Schreibweise. Die Website hat nicht rechtzeitig geantwortet. Versuch es bitte später noch einmal. Die Prüfung dauert ungewöhnlich lange. Versuch es bitte mit weniger URLs. Bitte gib eine gültige Adresse mit Domain ein, zum Beispiel www.beispiel-shop.de/. Die Prüfung hat nicht geklappt. Versuch es bitte noch einmal. Bitte nimm deine geschäftliche E-Mail-Adresse. Das hat nicht geklappt. Versuch es bitte noch einmal.Das Ergebnis ließ sich nicht darstellen.
{urls} {word} mit {agents} geprüft{end}
URL URLs . Es wurden nur die ersten 100 URLs geprüft.{found} Links auf {url} gefunden, {unique} verschiedene Ziele geprüft mit {agent} ({source}).{trunc}
Echte Nutzerdaten aus dem Chrome UX Report, 75. Perzentil, {ff}, {mode}.
je URL je Domain (Origin){list}
Keine gültige URLGib eine Seiten-URL ein, zum Beispiel www.beispiel-shop.de/de/zelte/.Die Seite war nicht erreichbarPrüfe die Adresse. Manche Websites sperren unbekannte Bots.hreflang-Einträgein OrdnungHinweiseFehlerGeprüft:) alsHinweisRückverweisErgebnis(diese Seite)(HTTP-Header)janeinselbstGib eine Seiten-URL ein, zum Beispiel www.beispiel-shop.de/zelte/.Die Seite ließ sich nicht abrufenVielleicht sperrt sie die Kennung. Probier eine andere Kennung.Signale verglichenunterscheiden sichSkripte geladenHTML nach JavaScript. Quelltext und gerenderte Fassung stammen aus demselben Abruf.Beim Rendern gab es einen Fehlerwichtige SEO-Signale ändern sich durch JavaScriptBots, die kein JavaScript ausführen, sehen hier etwas anderes als Google nach dem Rendern.Einige Werte entstehen erst durch JavaScriptTitle, Description, Canonical, Robots und H1 sind im Quelltext gleich.Quelltext und gerenderte Seite stimmen übereinDie geprüften Signale stehen schon im HTML.QuelltextNach JavaScriptLinks nur nach JavaScriptDiese Links fehlen im Quelltext. Bots ohne JavaScript finden sie nicht.Angezeigt: die ersten 20.KritischHochMittelwichtige BefundemittlereGewichtPrüfungDomain nicht gefundenZeitüberschreitungZu viele WeiterleitungenAdresse nicht erlaubtVerbindung abgelehntTLS-FehlerNicht erreichbarKeine gültige URL gefundenGib eine URL pro Zeile ein, zum Beispiel www.beispiel-shop.de/zelte/.2xx direktmit Weiterleitungnicht erreichbarKennungZiel-URLZu viele Weiterleitungen oder SchleifeGib eine URL pro Zeile ein, zum Beispiel www.beispiel-shop.de/alte-seite/.Hops – leite direkt auf das Ziel weiterTemporäre Weiterleitung () – für dauerhafte Umzüge 301 oder 308Weiterleitung endet aufWechsel von https auf httpWechsel auf anderen Host:Schleife:kommt mehrfach vorSaubere Weiterleitung in einem SchrittKeine Weiterleitung, antwortet direkt mitKeine Weiterleitung, antwortet mitEndstatusohne Weiterleitungein HopKettentemporärenden auf FehlerPrüfe die Adresse. Manche Websites sperren unbekannte Bots, dann hilft eine andere Kennung.Keine Links gefundenAuch im gerenderten HTML stehen keine a-Links mit href.Im Quellcode stehen keine a-Links. Werden die Links per JavaScript erzeugt, prüfe noch einmal mit der Option „mit JavaScript rendern“.Im gerenderten HTML stehen mehr LinksQuellcode:, gerendert:. Prüfe noch einmal mit JavaScript-Rendering.geprüftkaputt (4xx/5xx)WeiterleitungeninternexternZielLinktextArtGib eine Seiten-URL ein, zum Beispiel www.beispiel-shop.de/.Seite nicht abrufbarDie Seite hat nicht geantwortet oder ließ sich nicht rendern(Status. Vielleicht sperrt sie die KennungTechnologienKategorienStatus der SeitealsKeine Technologie erkanntAuf dieser Seite haben wir keine bekannten Muster gefunden. Das kommt bei stark angepassten oder geschützten Seiten vor.Grün: sicher erkannt. Blau: wahrscheinlich. Orange: nur ein schwacher Hinweis.KategorieTechnologieSicherheitSitemap-IndexURL-ListeBilderEinträge.Erlaubt sind bis zu 50.000 URLs je Sitemap. Teile die Datei auf und fasse sie in einem Index zusammen.Sitemaps im Index.Ein Index darf bis zu 50.000 Sitemaps enthalten.Größer als 50 MB.Erlaubt sind bis zu 50 MB unkomprimiert.URLs mit http://Prüf, ob das die kanonische Variante ist. Läuft die Website auf https, gehören https-URLs in die Sitemap.URLs auf anderen Hosts.. Google akzeptiert sie nur, wenn du für den anderen Host verifiziert bist oder die Sitemap in dessen robots.txt steht.doppelte URLs.Gezählt in den erstenEinträgen.Kein lastmod.Google nutzt lastmod, wenn der Wert verlässlich ist. Ohne Angabe fehlt dieses Signal.Content-Type istErwartet wird XML.Keine Probleme gefunden.Nicht abrufbar (keine AntwortTypEinträgeGrößeLadezeitWeiterleitung aufGleiche Datei untermit Bildernmit hreflangErweiterungenbisMerkmalWertErsteSitemaps geprüftvonTeil-Sitemaps gezähltURLs gezähltBefundeDie Domain ist nicht erreichbar.Prüf die Schreibweise. Manche Websites lassen Anfragen erst nach einer IP-Freigabe durch.in der robots.txt eingetragen.Keine Sitemap in der robots.txt eingetragen.Gefunden haben wir sie über übliche Pfade. Trag sie in der robots.txt ein oder reich sie in der Search Console ein, damit Suchmaschinen sie sicher finden.Keine Sitemap gefunden.Weder in der robots.txt noch unter den üblichen Pfaden (z. B. /sitemap.xml, /sitemap_index.xml). Gib die Sitemap-URL direkt ein, wenn sie woanders liegt.Sitemaps gefunden. Geprüft haben wir die ersten fünf, weitere kannst du einzeln eingeben.Teil-SitemapsTeil-Sitemaps nicht abrufbar.Teil-Sitemaps mit mehr als 50.000 URLs.Gezählt wurden die erstenTeil-Sitemaps.Teil-SitemapEbeneDie Datei ist leer.Unter der Adresse kommt eine HTML-Seite statt einer Textdatei.Ausgeliefert nicht als text/plain oder text/markdown.Die Datei ist sehr groß.Zeilen sehen aus wie Link-Einträge, folgen aber nicht dem Format „- [Name](URL): Notiz“.Kein Titel („# Name“). Der Titel ist das einzige Pflichtelement.Der Titel steht nicht in der ersten Zeile.Mehrere Titel (#). Nur der erste zählt.Keine Kurzbeschreibung („> …“) unter dem Titel.Die Datei verlinkt keine Seiten.Abschnitte ohne Links.Ungültige URLs.Relative URLs. Absolute URLs sind für KI-Clients sicherer.Doppelt eingetragene URLs.Links auf andere Hosts.(ZeileLinks geprüftProblemegefunden.leitet auf einen anderen Host weiter.ist per robots.txt gesperrt fürDiese Bots dürfen die Datei nach den Regeln der robots.txt gar nicht abrufen.Keinegefunden (Unter der Adresse kommt eine HTML-Seite, keine Textdatei.Die robots.txt war nicht abrufbar (). Sperren für KI-Bots konnten wir deshalb nicht prüfen.AufbauInhaltTitel (#)fehltKurzbeschreibung (>)Abschnitte (##)auf anderen Hosts)Befunde zum FormatZeileDas Format entspricht dem Vorschlag von llmstxt.org.1 verlinkte URL istverlinkte URLs sindper robots.txt für KI-Bots gesperrt.Die llms.txt verweist auf Seiten, dienicht abrufen dürfen.1 verlinkte URL antwortetverlinkte URLs antwortenmit einem Fehler.Abschnittnicht geprüftgesperrt:erlaubtanderer HostAbgerufen haben wir die erstenURLs. Geprüft auf robots.txt-Sperren sind die erstenTitelEntwurf für deine llms.txtErstellt ausSeiten aus deiner SitemapSeite (keine Sitemap gefunden), mit Titel und Meta Description. Prüf Auswahl und Texte, bevor du die Datei unter /llms.txt ablegst.Entwurf kopierenKopiert.Kopieren nicht möglich, bitte markieren.Keine gültige AdresseGib bis zu drei Domains oder URLs ein, eine pro Zeile.alle GeräteNicht erreichbar:Nicht genug Daten:Die Adresse hat nicht geantwortet.Google veröffentlicht CrUX-Werte erst ab einer Mindestzahl an Besuchen.Probier die Domain statt der einzelnen URL oder eine andere Geräteklasse.Probier eine andere Geräteklasse.MetrikVerlauf der letzten Wochengestrichelt: Grenze „gut“ (Wochen bis. Schwellenwerte:Woche bisGoogle-Anmeldung konnte nicht geladen werden. Prüfe, ob ein Blocker accounts.google.com sperrt.Anmeldung abgelaufen. Bitte neu verbinden.Verbinde mit Google …Keine Freigabe erhalten.Anmeldung abgebrochen.Lade deine Properties …In diesem Google-Konto ist keine bestätigte Property.VerbundenProperties gefunden. Wähle eine aus und füge bis zu 100 URLs ein.IndexiertTeilweiseAusgeschlossengesperrtRedirect-Fehlerinterner FehlerungültignieindexiertausgeschlossenAbdeckungIndexierungLetzter Crawlweicht abAbrufEigener CanonicalGecrawlt alsBitte zuerst eine Property wählen.Bitte mindestens eine URL eingeben.URL(s) gehören nicht zur PropertyEs werden die ersten 100 URLs geprüft.AbbrechenAbgebrochen nachFertig:URLs geprüft.PrüfeUnbekanntrobots.txt nicht abrufbarkeine passende Regelkeine Gruppe· GruppeStatus robots.txtUser-agent-GruppenSperren in der MatrixDu testest deine bearbeitete Fassung.Die Datei auf dem Server ist unverändert.Keine robots.txt gefunden (Bei 4xx behandelt Google die Website so, als gäbe es keine Einschränkungen.robots.txt nicht abrufbar (Bei 5xx oder 429 behandelt Google die ganze Website erst einmal als gesperrt.robots.txt gefunden.Größer als 500 KiB.Google wertet nur die ersten 500 KiB aus.Erwartet wird text/plain.Die Datei enthält keine Regeln.Ohne User-agent-Gruppe dürfen alle Bots alles abrufen.Zeilen ohne bekannte Direktive.ZeilenWeitergeleitet.Google-Extended ist ein reines robots.txt-Token. Es steuert die Nutzung für Gemini-Modelle, Google crawlt dafür nicht separat.Ressourcen der StartseiteDie Seite ließ sich nicht rendern.Ressourcen gefundenauf diesem Hostfür Googlebot gesperrtauf anderen HostsRessourceRegelKeine Ressource auf diesem Host ist für Googlebot gesperrt.Ressourcen liegen auf anderen Hosts. Für sie gilt die robots.txt des jeweiligen Hosts, die prüft dieser Test nicht.Sitemaps in der robots.txtrobots.txt bearbeiten und neu testenInhalt der robots.txtURLs oder Pfade, eine pro ZeileNeu testenOriginal ladensearchVIUbot (Mobil)Chrome (Mobil)SpalteVerlauf
Aufbau
Ein Titel, dann Abschnitte mit Links
Der Vorschlag von llmstxt.org beschreibt eine Markdown-Datei unter /llms.txt. Pflicht ist nur der Titel. Kurzbeschreibung und Abschnitte helfen KI-Systemen beim Einordnen.
So sieht eine llms.txt aus
# Beispiel GmbH > Hersteller von Messtechnik für die Industrie. ## Produkte - [Sensoren](https://www.example.com/sensoren/): Übersicht aller Baureihen - [Software](https://www.example.com/software/): Auswertung und Schnittstellen ## Optional - [Presse](https://www.example.com/presse/)
Was der Checker prüft
Titel mit #, Kurzbeschreibung mit >, Abschnitte mit ## und Link-Einträge im Format - [Name](URL): Notiz.
Dazu kommen ungültige, relative und doppelte URLs, Links auf andere Hosts und der Content-Type der Datei.
Gibt es zusätzlich eine llms-full.txt, zeigt der Checker, ob sie erreichbar ist und wie groß sie ist.
Quelle: llmstxt.org, Vorschlag von Jeremy Howard (2024)
llms.txt im RatgeberKI-Bots
llms.txt und robots.txt müssen zusammenpassen.
Sperrt die robots.txt GPTBot oder ClaudeBot, dürfen diese Bots auch die Seiten aus deiner llms.txt nicht abrufen. Der Checker gleicht beides für jede verlinkte URL ab.
Beispiel-Regeln: Disallow: /produkte/ für GPTBot, Disallow: /preise/ für alle Bots.
- GPTBot und OAI-SearchBotDie Bots von OpenAI für Training und Suche.
- ClaudeBotDer Bot von Anthropic.
- PerplexityBotDer Bot von Perplexity für die Suche.
- Die Datei selbstAuch /llms.txt kann per robots.txt gesperrt sein.
Verlinkte URLsSchematisches Beispiel
/produkte/gesperrt: GPTBot/preise/gesperrt: alle Bots/ratgeber/erlaubtEinordnung
Ob KI-Systeme die Datei lesen, ist offen.
Die llms.txt ist bisher ein Vorschlag aus der Community. Welche KI-Bots sie tatsächlich abrufen, siehst du in deinen Server-Logs.
Datei anlegenDer Entwurf aus deiner Sitemap ist ein guter Ausgangspunkt.
Zugriffe messenDie Logfile-Analyse zeigt, welche Bots /llms.txt anfragen und wie oft.
Aktuell haltenVerlinkte Seiten ändern sich. Das llms.txt Monitoring prüft die Links jeden Tag.
Häufige Fragen
Ersetzt die llms.txt die robots.txt?
Nein. Die robots.txt regelt, wer was abrufen darf. Die llms.txt beschreibt Inhalte für KI-Systeme und sperrt nichts.
Was ist die llms-full.txt?
Eine Variante, die den Inhalt der Seiten gleich mitliefert, meist als eine große Markdown-Datei. Der Checker zeigt, ob es sie gibt und wie groß sie ist.
Wie entsteht der Entwurf?
Der Checker nimmt deine Sitemap, wählt bis zu 25 Seiten aus verschiedenen Bereichen und übernimmt Titel und Meta Description. Seiten mit noindex lässt er weg. Prüf Auswahl und Texte, bevor du die Datei veröffentlichst.
Wie viele Links prüft der Checker?
Er liest alle Links der Datei. Die ersten 50 ruft er ab, für die ersten 150 prüft er die robots.txt-Regeln.
Welche KI-Bots prüft der Checker?
GPTBot und OAI-SearchBot von OpenAI, ClaudeBot von Anthropic und PerplexityBot. Alle Bots mit ihren Tokens findest du in der KI-Bot-Liste.
Was speichert ihr von meiner Anfrage?
Wir speichern die eingegebenen URLs, das Ergebnis und deine IP-Adresse, um das Tool zu betreiben. Abgerufene Seiteninhalte löschen wir nach sieben Tagen automatisch. Die geprüfte Domain nutzen wir außerdem, um zu sehen, welche Unternehmen sich für das Thema interessieren.
Demo
Wie sieht deine Website in searchVIU aus?
Nach einer kurzen Abstimmung zu Crawler-Freigabe und Search Console zeigt dir Michael searchVIU mit deiner Website und einem Beispielprojekt. Die Demo dauert rund 30 Minuten.
Demo anfragen