robots.txt (für KI)
Die robots.txt ist eine Datei im Web-Root, die festlegt, welche Crawler eine Website lesen dürfen — für die KI-Sichtbarkeit müssen dort die KI-Crawler wie GPTBot und PerplexityBot explizit erlaubt sein.
Jeder KI-Crawler wird über einen eigenen `User-agent`-Block gesteuert. Mit `Allow: /` wird der Zugang zur gesamten Website gewährt. Fehlt der Block oder steht dort `Disallow: /`, bleibt die Seite für das jeweilige KI-System unsichtbar.
Eine häufige Ursache mangelnder KI-Sichtbarkeit ist eine pauschale Sperrregel, die KI-Crawler unbeabsichtigt ausschliesst. Der Zugang sollte für GPTBot, OAI-SearchBot, PerplexityBot, ClaudeBot, Google-Extended und CCBot geprüft werden.
Ergänzend sollte die robots.txt auf die Sitemap verweisen, damit Crawler alle Seiten finden.