llms.txt und robots.txt: was KI-Crawler lesen dürfen

Was die robots.txt tut

Die robots.txt ist eine Textdatei im Hauptverzeichnis deiner Website. Du erreichst sie unter deine-domain.de/robots.txt. Sie sagt Crawlern, welche Adressen sie abrufen dürfen. Ein Crawler ist ein Programm, das Websites abruft und liest. Der Standard dafür heißt Robots Exclusion Protocol und ist seit September 2022 als RFC 9309 veröffentlicht. Daneben gibt es die llms.txt. Sie ist ein Vorschlag für eine Lesehilfe und steuert nichts. Beide Dateien erklärt dieser Artikel.

Zwei Regeln helfen dir beim Lesen der Datei. Ist für einen Crawler nichts geregelt, darf er die Adresse abrufen. Und gibt es einen eigenen Eintrag für einen Crawler, gilt dieser vor dem allgemeinen Eintrag für alle.

Wer was liest

Seit es KI-Dienste gibt, schicken viele Anbieter mehrere Crawler mit unterschiedlichen Aufgaben. Du kannst jeden einzeln erlauben oder sperren.

Merke dir die Gruppen. Such-Crawler entscheiden, ob du in Antworten vorkommen kannst. Training-Crawler entscheiden, ob deine Texte in das Material für künftige Modelle fließen. Abrufe auf Wunsch eines Nutzers folgen eigenen Regeln.

Suche erlauben, Training entscheiden

Ein Beispiel, das Suche erlaubt und das Training ausschließt:

User-agent: Googlebot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

Das ist ein Muster und keine Empfehlung. Ob du das Training erlaubst, entscheidest du. Für das Gefundenwerden in der Suche ist es nicht nötig. OpenAI nennt allein den OAI-SearchBot als Bedingung für die Anzeige in der Suche von ChatGPT.

Nach einer Änderung dauert es. Bei OpenAI und Perplexity kann es laut Dokumentation bis zu 24 Stunden dauern, bis die Suche die neue Regel nutzt.

robots.txt testen: so prüfst du die Datei

1. Öffne deine-domain.de/robots.txt in einem privaten Browserfenster. So siehst du, ob die Datei öffentlich erreichbar ist.
2. Prüfe Name und Ort. Die Datei muss „robots.txt“ heißen und im Hauptverzeichnis liegen. In einem Unterordner gilt sie laut Google nicht. Eine Subdomain braucht eine eigene Datei.
3. Speichere sie als reinen Text im Format UTF-8. Mit einem Textverarbeitungsprogramm entstehen Zeichen, die Crawler womöglich ignorieren.
4. Nutze in der Search Console den robots.txt-Bericht. Er funktioniert nur bei Dateien, die schon erreichbar sind.
5. Suche die Zeilen mit „Disallow: /“ und prüfe, welche Crawler sie betreffen.

Was die robots.txt nicht kann

• Sie ist kein Schloss. Die Regeln sind laut Standard keine Zugriffskontrolle. Seriöse Crawler halten sich daran. Schützen kannst du private Inhalte nur mit einem Passwort.
• Sie hält eine Seite nicht aus Google. Eine gesperrte Adresse kann trotzdem in den Treffern erscheinen, wenn andere Seiten darauf verlinken. Dafür gibt es die Anweisung noindex im Quelltext der Seite. Google muss die Seite dann aber lesen dürfen.
• Ein Fehler kann alles sperren. Antwortet der Server beim Abruf der robots.txt mit einem Serverfehler, behandelt der Standard das als vollständiges Verbot.

Was llms.txt ist

Die Datei llms.txt ist ein Vorschlag von Jeremy Howard, veröffentlicht am 3. September 2024. Gedacht ist sie als Lesehilfe für KI-Programme. Sie liegt im Hauptverzeichnis und ist eine Textdatei in Markdown. Sie hat einen Titel, eine kurze Zusammenfassung und Listen mit Links auf die wichtigsten Seiten.

Ein Beispiel:

# Hülsbrink Haustechnik GmbH

> Heizung, Bad und Wärmepumpe in Rheine und im Kreis Steinfurt.

## Leistungen

- [Wärmepumpe](https://www.beispiel.de/waermepumpe): Beratung, Einbau und Wartung
- [Badsanierung](https://www.beispiel.de/badsanierung): Planung und Umbau aus einer Hand

Die llms.txt steuert nichts. Sie sperrt keinen Crawler und ersetzt die robots.txt nicht.

Bringt llms.txt etwas?

Das ist offen. Auf llmstxt.org steht, dass Tausende Websites die Datei bereitstellen. Google sagt dagegen klar: Die Google Suche nutzt llms.txt und ähnliche KI-Textdateien nicht. Sie hilft dort weder noch schadet sie. Eine Zusage der großen Anbieter, dass sie die Datei für ihre Antworten auswerten, haben wir bei der Prüfung nicht gefunden. Das ist der Stand im Oktober 2026.

Du kannst die Datei trotzdem anlegen. Sie kostet wenig Zeit. Rechne aber nicht mit einer Wirkung und lass sie nicht an die Stelle der Grundlagen treten.

Was du als Nächstes tun kannst

1. Öffne deine-domain.de/robots.txt. Gibt es sie überhaupt? Antwortet sie ohne Fehler?
2. Suche nach „Disallow: /“. Steht es unter „User-agent: *“ oder bei einem Such-Crawler aus der Tabelle, hast du etwas gesperrt.
3. Entscheide für jeden Crawler aus der Tabelle bewusst: Suche erlauben, Training erlauben oder sperren.
4. Falls du eine llms.txt anlegst, halte sie kurz und prüfe die Links.

RankMeister prüft für jede Seite, ob Google und KI-Dienste sie lesen dürfen. Dazu nennt es den nächsten Schritt.