KI-Crawler richtig steuern: robots.txt für ChatGPT, Perplexity & Co.
GPTBot, PerplexityBot, ClaudeBot, Google-Extended: Welche KI-Crawler es gibt und wie Sie sie bewusst erlauben oder ausschliessen.
Leutrim Miftaraj
Gründer SEOBoost
Ob eine KI Ihre Website als Quelle nutzen darf, entscheidet sich zuerst an einer unscheinbaren Datei: der robots.txt. Dieser Ratgeber gibt den Überblick über die wichtigsten KI-Crawler 2026 und erklärt, wie Sie sie gezielt steuern.
Warum die Crawler-Steuerung über KI-Sichtbarkeit entscheidet
KI-Suchsysteme können nur zitieren, was sie lesen dürfen. Blockiert eine Website die entsprechenden Crawler, schliesst sie sich selbst aus den KI-Antworten aus — oft unbeabsichtigt, weil pauschale Blockier-Regeln aus SEO-Gewohnheit übernommen wurden.
Wer in KI-Antworten sichtbar sein will, trifft hier eine bewusste Entscheidung: welche Systeme dürfen die Inhalte für welche Zwecke nutzen.
Die wichtigsten KI-Crawler 2026
Die relevanten Crawler lassen sich nach Anbieter gruppieren:
- OpenAI: GPTBot (Training/Wissen), OAI-SearchBot (ChatGPT-Suche), ChatGPT-User (nutzergetriggert).
- Perplexity: PerplexityBot, Perplexity-User.
- Anthropic: ClaudeBot, Claude-SearchBot, Claude-User.
- Google: Google-Extended (generative Nutzung), GoogleOther.
- Weitere: Applebot-Extended, Amazonbot, meta-externalagent, YouBot, MistralAI-User, cohere-ai, DuckAssistBot.
Erlauben oder ausschliessen — die Abwägung
Für die meisten Unternehmen, die Sichtbarkeit suchen, ist das bewusste Erlauben der richtige Weg: Es ist die Voraussetzung, um in KI-Antworten genannt zu werden. Ausschliessen kann sinnvoll sein, wenn Inhalte urheberrechtlich sensibel sind oder bewusst nicht für KI-Training verwendet werden sollen.
Wichtig ist die Unterscheidung zwischen Training und Suche: Manche Anbieter trennen den Trainings-Crawler vom Such-Crawler. So kann man das Training ausschliessen, aber die Live-Suche erlauben — oder umgekehrt.
Häufige Fragen
Wo finde ich meine robots.txt?
Unter der Adresse Ihrer-Domain.ch/robots.txt. Sie liegt im Wurzelverzeichnis der Website und ist öffentlich abrufbar.
Kann ich Training erlauben, aber Suche verbieten?
Bei manchen Anbietern ja, weil sie getrennte Crawler für Training und Suche einsetzen. Bei anderen ist die Trennung nicht möglich. Eine saubere robots.txt berücksichtigt diese Unterschiede pro Anbieter.
Schadet das Erlauben von KI-Crawlern meinem klassischen SEO?
Nein. Die KI-Crawler sind von Googlebot getrennt; das Erlauben beeinflusst Ihre klassischen Google-Rankings nicht negativ. Es öffnet lediglich die zusätzliche KI-Sichtbarkeitsebene.
Sichtbar in Google und in KI-Antworten
SEOBoost setzt GEO und SEO für Sie um — zitierfähige Inhalte und saubere Technik, bewiesen an 15 eigenen Produkten. Ehrlich, mit transparentem Reporting.
Sichtbarkeits-Analyse startenWeitere Ratgeber zu KI-Sichtbarkeit