GPTBot und ClaudeBot in der robots.txt: erlauben oder sperren?

Ob Sie GPTBot oder ClaudeBot in der robots.txt erlauben oder sperren sollten, hängt davon ab, ob Sie in KI-Antworten auftauchen oder Ihre Inhalte aus Trainingsdaten heraushalten wollen. Beides ist legitim, aber es sind verschiedene Ziele, und die Anbieter trennen Training und Suche teilweise in eigene Crawler.

Warum die robots.txt die erste Stellschraube ist

Bevor eine KI Ihre Seite zitieren kann, muss sie sie abrufen dürfen. Eine pauschale Sperre, die ein Sicherheits-Plugin oder ein Hoster für „unerwünschte Bots“ gesetzt hat, ist deshalb eine der häufigsten Ursachen für Unsichtbarkeit. Deshalb bewertet der AI Readiness Grader von BusinessMCP den Crawler-Zugriff mit 30 von 100 Punkten, dem größten Einzelposten. Er prüft laut Anbieter, ob unter anderem GPTBot, ClaudeBot, PerplexityBot, Google-Extended, CCBot und nutzergesteuerte Agenten Ihre robots.txt lesen können.

Wer ist wer: Crawler nach Zweck

Die folgende Übersicht stützt sich auf die Herstellerdokumentation, die unten verlinkt ist. Namen und Zwecke können sich ändern; prüfen Sie die Quellen vor jeder Änderung.

User-Agent	Anbieter	Zweck laut Dokumentation
GPTBot	OpenAI	Sammeln von Inhalten, die für das Training genutzt werden können
OAI-SearchBot	OpenAI	Auffindbarkeit in der Suche von ChatGPT
ChatGPT-User	OpenAI	Abrufe auf Nutzeranfrage
PerplexityBot	Perplexity	Aufbau des Suchindex
Perplexity-User	Perplexity	Abrufe auf Nutzeranfrage
ClaudeBot	Anthropic	Anthropic nennt mehrere Bots; Details in dessen Hilfeseiten prüfen
Google-Extended	Google	Steuerung der Nutzung für bestimmte KI-Anwendungen, kein Einfluss auf die Suche
CCBot	Common Crawl	Öffentliches Webarchiv, das als Trainingsquelle dient

Zu Anthropic nennen wir bewusst keine Details, die wir hier nicht belegen können; schauen Sie in die aktuelle Anbieterdokumentation.

Drei Strategien

1. Offen: Alle relevanten Crawler erlauben. Sinnvoll, wenn Reichweite wichtiger ist als Kontrolle über Trainingsnutzung, etwa bei Dienstleistern, die gefunden werden wollen.
2. Selektiv: Such- und Nutzer-Crawler erlauben, Trainings-Crawler sperren. Das schützt Inhalte vor Trainingsnutzung, ohne die Chance auf Zitate in Antworten zu verschenken, setzt aber voraus, dass der Anbieter beide Zwecke wirklich trennt.
3. Geschlossen: Alle sperren. Konsequent, wenn Inhalte bezahlpflichtig oder rechtlich sensibel sind, aber mit Verzicht auf KI-Sichtbarkeit verbunden.

Kernaussage: Es gibt kein richtig oder falsch, sondern nur eine bewusste Entscheidung. Falsch ist allein, versehentlich auszusperren und sich dann über fehlende Nennungen zu wundern.

Beispiel: Selektive Konfiguration

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Das Beispiel sperrt den Trainings-Crawler von OpenAI und lässt Such-Crawler zu. Ob Sie das wollen, ist Ihre Entscheidung. Testen Sie jede Änderung und dokumentieren Sie sie mit Datum, damit Sie spätere Messergebnisse zuordnen können, wie in KI-Sichtbarkeit messen beschrieben.

Schritt für Schritt prüfen

1. robots.txt öffnen: https://ihre-domain.de/robots.txt im Browser aufrufen.
2. Pauschalregeln suchen: Eine Zeile User-agent: * mit Disallow: / sperrt alle Bots, auch Suchmaschinen.
3. Einzelne Agenten suchen: Stehen GPTBot, ClaudeBot oder andere ausdrücklich unter Disallow?
4. Hoster und Plugins prüfen: Manche Dienste ergänzen Regeln automatisch, ohne dass Sie sie sehen.
5. Automatisch gegenprüfen: Der AI Crawler Checker von BusinessMCP zeigt laut Anbieter, welche KI-Crawler Ihre robots.txt zulässt und ob eine llms.txt existiert. Er prüft nur den Zugang und sagt nach eigener Aussage nichts darüber, ob KI Sie empfiehlt.

Grenzen der robots.txt

Die robots.txt ist eine Vereinbarung unter höflichen Akteuren. Google beschreibt sie in seiner Einführung als Mittel, Crawler-Anfragen zu steuern, nicht als Schutz vor Zugriff auf Inhalte. Vertrauliche Inhalte gehören hinter einen Login. Zudem betrifft eine Sperre nur künftige Abrufe: Was bereits in Trainingsdaten oder Indizes steckt, entfernt sie nicht.

Ein weiterer Stolperstein ist Server-seitiges Blockieren durch Firewalls oder Bot-Schutzdienste. Diese greifen unabhängig von der robots.txt und führen dazu, dass ein Crawler trotz Erlaubnis nur Fehlerseiten sieht. Wenn Ihr Check Zugang meldet, die Server-Logs aber nur 403-Antworten für KI-Bots zeigen, liegt die Ursache dort. Fragen Sie Ihren Hoster, welche Regeln aktiv sind.

Zusammenspiel mit anderen Signalen

Zugang ist notwendig, aber nicht hinreichend. Danach zählen lesbare Inhalte (GEO-Content-Optimierung), saubere Metadaten und gegebenenfalls strukturierte Daten. Wer das ganze Bild sehen will, nutzt den AI Readiness Check als ersten Gesamtüberblick und arbeitet die Lücken in der Reihenfolge ihrer Gewichtung ab.

Rechtlicher Hinweis

Ob und wie Inhalte für KI-Training genutzt werden dürfen, ist rechtlich im Fluss. Die robots.txt ist ein technisches Signal; für verbindliche Aussagen zu Urheberrecht und Nutzungsvorbehalten ziehen Sie eine Rechtsberatung hinzu. Dieser Artikel ist keine Rechtsberatung.

Entscheidungshilfe nach Unternehmenstyp

Die richtige Strategie hängt weniger von Technik als vom Geschäftsmodell ab. Die folgende Übersicht ist eine Orientierung, keine Vorschrift.

Unternehmenstyp	Naheliegende Strategie	Begründung
Lokaler Dienstleister (Praxis, Kanzlei, Handwerk)	Offen	Gefunden zu werden ist wichtiger als Trainingsschutz
Verlag oder Redaktion mit Bezahlinhalten	Selektiv oder geschlossen	Inhalte sind das Produkt
Onlineshop	Offen für Such-Crawler	Produktseiten sollen in Empfehlungen auftauchen
Forschungs- oder Archivseite	Je nach Lizenz	Nutzungsbedingungen entscheiden

Gerade für Betriebe in Heidelberg, deren Kundschaft vor Ort sucht, überwiegt meist der Wunsch nach Auffindbarkeit. Wer dennoch Bedenken hat, kann selektiv vorgehen und die Entscheidung später revidieren. Dokumentieren Sie den Stand mit Datum, damit Sie Veränderungen in der Messung einordnen können.

Typische Fehlerbilder aus der Praxis

Das vergessene Staging-Disallow. Beim Relaunch wird die Testumgebung mit einem pauschalen Disallow gesperrt, und die Regel wandert versehentlich in den Livebetrieb. Folge: Suchmaschinen und KI-Crawler werden ausgeschlossen. Prüfen Sie nach jedem Relaunch als Erstes die robots.txt.

Das Sicherheits-Plugin mit Bot-Liste. Manche Plugins pflegen Listen „unerwünschter Bots“, in denen KI-Crawler stehen können, ohne dass der Betreiber davon weiß. Der Blick in die Plugin-Einstellungen lohnt sich.

Die zu breite Regel. Ein Disallow: /ratgeber sperrt genau die Inhalte, die zitiert werden sollen. Prüfen Sie, welche Verzeichnisse tatsächlich gesperrt gehören (Warenkorb, interne Suche, Login), und lassen Sie Inhalte frei.

Der Cache-Effekt. Crawler halten robots.txt-Dateien zwischen. Änderungen wirken deshalb nicht sofort. Rechnen Sie mit Tagen, bevor sich das Verhalten ändert, und beurteilen Sie den Effekt erst danach.

Wie Sie Änderungen sicher einführen

1. Aktuelle robots.txt als Kopie sichern.
2. Änderung in einem Schritt vornehmen, nicht gleichzeitig mit anderen Maßnahmen.
3. Datei im Browser und mit einem Crawler-Check testen.
4. Datum und Änderung notieren.
5. Nach einigen Wochen in der Messreihe prüfen, ob sich etwas verändert hat.

Diese Disziplin hilft vor allem, wenn später jemand fragt, warum die Zahlen gestiegen oder gefallen sind. Ohne Notiz wird jede Erklärung zur Vermutung, und die Beratungsbranche ist voll von Vermutungen, die als Erfolgsgeschichten verkauft werden.