Google will 2027 ein gemeinsames KI-Training-Signal in der robots.txt unterstützen
Was Google angekündigt hat
Bisher steuern Websites KI-Training anbieterweise, bei Google über das robots.txt-Token Google-Extended, das Google nach eigenen Angaben seit 2023 anbietet. Künftig soll ein gemeinsames „Policy Token“ in der robots.txt Präferenzen gegenüber mehreren teilnehmenden KI-Anbietern in einem Schritt ausdrücken. Grundlage ist ein Entwurf aus der AIPREF-Arbeitsgruppe der IETF.
Die Regel, die Google beschreibt: Sperrt eine Website das Training über dieses Token und nennt Google-Extended nicht ausdrücklich, wertet Google das so, als hätte die Website Google-Extended gesperrt. Andere Anbieter könnten ähnlich verfahren. Bestehende anbieterspezifische Steuerungen bleiben daneben gültig. Wer also pauschal sperrt und Google gesondert zulässt, kann beides ausdrücken.
Google nennt als Ziel, das Signal „along with other AI providers in 2027“ zu unterstützen. Die Crawler-Dokumentation nennt „early 2027“. Ein genaues Datum gibt es nicht.
Was im Entwurf steht – und was nicht
Der verlinkte Entwurf (draft-kelley-aipref-training-preference-signal-00, Stand 30. Oktober 2026) ist ein individueller Internet-Draft. Er ist nicht von der IETF verabschiedet und hat dort keinen formalen Status; er läuft am 3. Mai 2027 aus, wenn er nicht fortgeschrieben wird. Als Autor ist Kevin Kelley von Anthropic genannt.
Der Entwurf sieht ein Token namens __usage_ai-training vor, das in der Syntax von RFC 9309 wie ein User-Agent geschrieben wird. Sein Beispiel:
- User-Agent: __usage_ai-training
- Disallow: /
- Allow: /press-kit/
Das drückt aus: kein KI-Training, außer im Pfad /press-kit/. „KI-Training“ definiert der Entwurf als Nutzung von Inhalten, um die gelernten Parameter eines generativen KI-Modells zu verändern. Modelle für nicht-generative Aufgaben fallen heraus.
Der Blogbeitrag nennt die Schreibweise nicht und spricht nur von „a shared ‚policy token‘“. Googles Crawler-Dokumentation nennt dagegen „user-agent: __usage_ai-training“. Da es sich um einen Entwurf handelt, kann sich das Token bis zur Umsetzung noch ändern.
Was das für Ihre Website heißt
Aus unserer Sicht folgt daraus kein Handlungsbedarf an der robots.txt; ein Token, das noch kein Anbieter auswertet, bringt nichts. Sinnvoll ist aber, die Entscheidung vorzubereiten:
- Prüfen Sie den Ist-Zustand. Steht Google-Extended heute in Ihrer robots.txt – bewusst oder durch ein Sicherheits- oder Datenschutz-Plugin bzw. eine Vorgabe des Dienstleisters?
- Klären Sie die Haltung zum KI-Training. Ob Inhalte für Training freigegeben werden, ist eine Entscheidung von Marketing und Geschäftsführung, keine technische.
- Beachten Sie die Kopplung an Gemini. Google schreibt, dass Websites, die Google-Extended ausdrücklich zulassen, in Antworten erscheinen und Klicks über Grounding in den Gemini-Apps erhalten können. Eine pauschale Sperre des neuen Tokens ohne ausdrückliche Zulassung von Google-Extended würde nach Googles Beschreibung als Sperre von Google-Extended gewertet. Wer in Gemini sichtbar bleiben will, sollte aus unserer Sicht Google-Extended deshalb ausdrücklich erlauben.
- Trennen Sie Training von Suche. Laut Googles Crawler-Dokumentation beeinflusst Google-Extended weder die Aufnahme in die Google-Suche noch das Ranking.
Offen lässt die Ankündigung, wie Google Konflikte zwischen mehreren Signalen auflöst, die über die beschriebene Regel hinausgehen, und ob andere Anbieter das Token übernehmen. Namentlich nennt der Beitrag keinen weiteren Anbieter.
Google verweist außerdem darauf, der Vorschlag sei mit dem EU-Verhaltenskodex für KI-Modelle mit allgemeinem Verwendungszweck vereinbar, der die robots.txt als primäres Mittel für maschinenlesbare Präferenzen anerkenne. Welche rechtliche Wirkung ein solches Signal für Ihre Website hat, sagt die Quelle nicht.
Quellen
- Google Search Central Blog: Supporting a shared AI training control for websites (30.10.2026)
- IETF Datatracker: Machine-Readable Training Preference Signal, draft-kelley-aipref-training-preference-signal-00 (30.10.2026)
- Google Crawling Infrastructure: Common crawlers, Abschnitt Google-Extended (abgerufen am 01.11.2026)