Zum Inhalt springen

llms.txt liest niemand: Was KI-Crawler wirklich auswerten

Seit zwei Jahren empfehlen Agenturen und Tool-Anbieter eine Datei namens llms.txt. Die Auswertung von 137.000 Domains zeigt: 97 Prozent dieser Dateien wurden im Mai 2026 kein einziges Mal abgerufen. Steuern lässt sich der Zugriff von KI-Crawlern durchaus – nur nicht mit dieser Datei.

Ein Vorschlag, kein Standard

Jeremy Howard, Mitgründer von Answer.AI, veröffentlichte llms.txt am 3. September 2024. Die Überlegung dahinter ist nachvollziehbar: Sprachmodelle haben begrenzte Kontextfenster, und HTML in sauberen Text zu überführen ist aufwendig und fehleranfällig. Eine Website besteht aus Navigation, Werbung, Skripten und Layoutresten, durch die sich ein Modell erst hindurcharbeiten muss, bevor es beim Inhalt ankommt.

Die vorgeschlagene Abkürzung: eine kurze Markdown-Datei im Wurzelverzeichnis, die den Zweck der Website in einem Satz beschreibt und auf die wichtigsten Seiten verlinkt, jeweils mit einer Zeile Erklärung. Kein neues Format, keine Konfiguration – eine Inhaltsübersicht für Maschinen. Der ursprüngliche Vorschlag nennt Software- und API-Dokumentation als Anwendungsfall, nicht Marketing-Sichtbarkeit. 

Was fehlt, ist die Gegenseite. Weder IETF noch W3C haben llms.txt als Standard verabschiedet. Kein großer Anbieter hat zugesagt, es produktiv auszuwerten. Ein Protokoll ist ein Handschlag zwischen zwei Parteien. Hier wurde nur eine Hand ausgestreckt.

Und trotz des Dateinamens: llms.txt ist keine Anweisung wie robots.txt. Sie sperrt nichts, sie erlaubt nichts, sie beschreibt nur.

Wer die Datei tatsächlich abruft

Ahrefs hat am 15. Juni 2026 die bislang größte Auswertung dazu veröffentlicht: 137.210 Domains, untersucht anhand von Traffic- und Bot-Daten für den Monat Mai 2026. Rund 28 Prozent dieser Domains lieferten eine gültige llms.txt aus – ein Wert, den Ahrefs selbst als Obergrenze einordnet, weil die Stichprobe technisch versierte Websites überrepräsentiert.

Von diesen rund 38.000 Dateien erhielten 97 Prozent im gesamten Monat keinen einzigen Abruf. Weder von Bots noch von Menschen. Bei den verbleibenden rund 1.100 Dateien kamen 96 Prozent der Anfragen von Maschinen. Die größte Einzelgruppe waren SEO-Audit-Werkzeuge mit knapp 22 Prozent, wobei Ahrefs' eigene Crawler rund die Hälfte davon ausmachen. Weitere 12 Prozent entfielen auf Werkzeuge, die llms.txt nicht nutzen, sondern untersuchen: GEO-Scoring-Dienste, Validatoren, Forschungs-Crawler. Die Branche vermisst sich selbst.

Benannte KI-Werkzeuge kamen zusammen auf 19,5 Prozent der Abrufe. Aufgeschlüsselt zeigt sich, wer die Datei tatsächlich liest: Agenten und deren Infrastruktur 10,5 Prozent, Trainings-Crawler 5,3 Prozent, Assistenten 2,5 Prozent. Die Retrieval-Bots, die Seiten für laufende Nutzerfragen in KI-Suchprodukten abrufen, kamen auf 1,1 Prozent. Anthropics Coding-Agent Claude-Code verursachte mehr Abrufe als jeder einzelne Retrieval-Bot.

Der aufschlussreichste Befund steht am Rand der Auswertung: Anfragen an nicht existierende llms.txt-Dateien kamen fast ausschließlich von Menschen – vermutlich von SEOs, die bei Wettbewerbern nachsehen. Kein einziger KI-Bot suchte nach einer Datei, die es nicht gab. Die Systeme klopfen also nicht an. Ahrefs schließt daraus: Gefunden wird die Datei nur, wenn ein Link, ein Verzeichnis oder eine Nutzeranweisung sie einem System zeigt.

Zwei Einschränkungen gehören dazu: Die Studie stammt von einem Anbieter aus dem SEO-Markt, die Methodik ist offengelegt. Und gemessen wurden Abrufe, nicht Verarbeitung. Jede dieser Zahlen ist damit eine Obergrenze, kein Nachweis, dass irgendein System den Inhalt tatsächlich genutzt hat.

Was Google dazu sagt – und was nicht

In den Search-Central-Richtlinien zur Optimierung für generative KI-Funktionen steht seit Mitte 2026 unmissverständlich, dass keine zusätzlichen maschinenlesbaren Dateien, KI-Textdateien oder Markdown-Varianten nötig sind, um in Google Search einschließlich der generativen Funktionen zu erscheinen. Google Search wertet sie nicht aus. Wer sie für andere Systeme pflegen möchte, schadet sich damit nicht – aber er hilft sich auch nicht.

Bleibt der Einwand, den man in Foren immer wieder liest: Chrome Lighthouse enthält doch eine llms.txt-Prüfung. Die Dokumentation entschärft das. Antwortet der Server mit 404, gilt die Prüfung als nicht anwendbar – die Datei sei, so Google, derzeit optional. Beanstandet wird nur ein Serverfehler beim Abruf. Das Fehlen der Datei kostet also nichts. Die Kategorie selbst ist als experimentell gekennzeichnet, beruht auf Standardvorschlägen und lässt sich erst ab Chrome 150 testen.

Was tatsächlich gelesen wird

robots.txt ist seit 2022 als RFC 9309 verabschiedet. Sie ist der etablierte Mechanismus, den Suchmaschinen und die Crawler der großen KI-Anbieter berücksichtigen. Zwei Grenzen gehören dazu: RFC 9309 beschreibt ein Protokoll, keine Zugriffskontrolle – wer sich nicht daran hält, wird dadurch nicht gehindert. Und die Datei regelt den Zugriff, nicht die Verwendung. Wer Suchmaschinen indexieren lassen, Modelltraining aber ablehnen will, findet dafür in RFC 9309 kein Mittel.

Der Hebel liegt bei den einzelnen Crawlern. Die großen Anbieter trennen ihre Bots inzwischen nach Zweck, und jeder lässt sich in robots.txt einzeln ansprechen. Das Muster ist überall dasselbe: ein Crawler für Trainingsdaten, einer für den Suchindex, einer für den Abruf im Moment der Nutzerfrage.

OpenAI führt GPTBot, OAI-SearchBot und ChatGPT-User. Anthropic seit Februar 2026 ClaudeBot, Claude-SearchBot und Claude-User – zuvor stand dort ein einziger Eintrag. Mistral dokumentiert MistralAI-Training, MistralAI-Index und MistralAI-User und hält für die letzten beiden ausdrücklich fest, dass die Inhalte in keiner Form für generatives Training verwendet werden. Perplexity kommt mit zweien aus, PerplexityBot und Perplexity-User, weil das Unternehmen keine eigenen Foundation Models baut.

Die Schalter sind unabhängig voneinander. Wer in Antworten zitiert werden will, aber kein Training möchte, sperrt den einen und lässt den anderen offen. Damit ist auch klar, warum die pauschale Sperre „KI-Bots", die viele 2024 einmal gesetzt haben, heute nicht mehr das tut, was sie soll: Sie trifft entweder zu viel oder zu wenig. Zwei Einschränkungen nennen die Anbieter selbst. OpenAI weist darauf hin, dass robots.txt bei nutzerinitiierten Abrufen über ChatGPT-User nicht in gleicher Weise greift wie bei automatischen Crawlern. Und Perplexity behält sich vor, bei gesperrten Seiten Domain, Überschrift und eine kurze Zusammenfassung dennoch zu indexieren.

Bei Google endet diese Trennschärfe. Für AI Overviews und AI Mode gibt es keinen eigenen Crawler – beide bedienen sich aus dem normalen Suchindex, den Googlebot füllt. Wer Googlebot sperrt, verschwindet aus der Suche. Google-Extended hilft hier nicht weiter: Das ist kein Crawler, sondern ein Eintrag, der nachgelagert regelt, ob bereits gecrawlte Inhalte für Training und Grounding in Gemini und Vertex AI verwendet werden. Auf Indexierung, Ranking und die Anzeige in AI Overviews hat er laut Google keinen Einfluss. Wer dort nicht auftauchen will, muss zu nosnippet, data-nosnippet oder max-snippet greifen – und die stehen im HTML, nicht in der robots.txt. Der Preis ist hoch: Sie unterdrücken die Textvorschau in allen Suchergebnissen, nicht nur in der KI-Antwort.

Was bleibt, sind Präferenzen. Die verbreitetste Ergänzung stammt von Cloudflare und schreibt eine zusätzliche Zeile in die robots.txt, mit den Werten search, ai-input und ai-train, jeweils yes oder no. RFC 9309 lässt solche fremden Einträge ausdrücklich zu – so wie den seit Jahren üblichen Sitemap-Eintrag: Ein Crawler darf sie auswerten, muss aber nicht. Genau darin liegt die Schwäche. Dokumentiert ist die Auswertung bislang nur in Cloudflares eigenem Netz, wo die Einhaltung geprüft wird und Verstöße den Verified-Status kosten können. Alles darüber hinaus ist ein Wunsch, keine Regel. Wer über Cloudflare ausliefert, sollte allerdings wissen, dass dort am 15. September 2026 neue Voreinstellungen greifen und mehrzweckige Crawler nach der strengsten zutreffenden Regel behandelt werden: Wer Training blockiert, sperrt ab diesem Datum auch Googlebot aus – es sei denn, man widerspricht der Umstellung vor dem Stichtag in den Sicherheitseinstellungen.

AnbieterTrainingIndexLive-Abruf
OpenAIGPTBotOAI-SearchBotChatGPT-User
AnthropicClaudeBotClaude-SearchBotClaude-User
MistralMistralAI-TrainingMistralAI-IndexMistralAI-User
Perplexityentfällt, keine eigenen ModellePerplexityBotPerplexity-User
GoogleGoogle-Extended, nur ein Regel-Eintrag, kein eigener Crawler; wirkt auf Gemini und Vertex AIGooglebotkein eigener Eintrag
User-Agents der großen Anbieter nach Zweck: Training, Indexierung für die Suche, Abruf im Moment der Nutzerfrage (Stand: August 2026)

Wohin die Standardisierung läuft

Die eigentliche Arbeit findet in der AI Preferences Working Group der IETF statt. Zwei Dokumente sind dort in Bearbeitung: Eines definiert das Vokabular für Nutzungspräferenzen, das andere beschreibt, wie diese Präferenzen an Inhalte gebunden werden – über einen HTTP-Header namens Content-Usage und eine korrespondierende Regel in robots.txt.

Beides sind Arbeitsdokumente, keine verabschiedeten Standards – zuletzt aktualisiert am 18. August 2026 –, und ein Produktionseinsatz ist bislang nicht dokumentiert. Die Arbeitsgruppe schließt technische Durchsetzung zudem ausdrücklich aus: Sie definiert, wie eine Präferenz ausgedrückt wird, nicht wie sie erzwungen wird. Trotzdem ist es der Prozess, an dem Google, Mozilla und Cloudflare gemeinsam beteiligt sind. Und er dockt genau dort an, wo die Steuerung heute schon stattfindet: in robots.txt.

Was das für Ihre Website heißt

Drei Konsequenzen, in dieser Reihenfolge.

Erstens: Prüfen Sie Ihre robots.txt. Sie ist die einzige der hier genannten Dateien, die nachweislich ausgewertet wird, und in vielen Projekten wurde sie zuletzt beim Relaunch angefasst. Entscheidend sind die Regeln je Crawler: Wer Training ablehnt, aber in KI-Antworten vorkommen möchte, muss beide Fälle getrennt eintragen. Das ist eine Konfigurationsentscheidung, kein Entwicklungsprojekt.

Zweitens: Klären Sie, was vor Ihrem Server steht. In vielen Projekten sitzt zwischen Besucher und Website ein Dienst, der Crawler filtert – ein CDN, eine Firewall, ein Schutzmodul beim Hoster. Solche Filter wurden oft einmal eingeschaltet und seitdem nie geprüft. Wer dort pauschal „KI-Bots" blockiert, sperrt womöglich Suchmaschinen gleich mit aus, wenn dieselben Crawler beide Aufgaben erfüllen. Das ist keine technische Feinheit, sondern eine Entscheidung mit direkter Wirkung auf Ihre Sichtbarkeit.

Drittens: llms.txt lohnt sich dann, wenn Sie technische Dokumentation betreiben, die von Coding-Assistenten gelesen wird. Dort hat die Datei einen echten Adressaten – und dort gilt auch: Was drinsteht, sollte jemand gelesen haben, der Ihr Produkt kennt. Als Maßnahme für Sichtbarkeit in KI-Antworten läuft sie dagegen ins Leere.

Quellen

AI-Insights
Zurück