KI-Crawler
KI-Crawler sind automatisierte Programme, mit denen KI-Anbieter Webinhalte erfassen — die wichtigsten sind GPTBot (OpenAI), PerplexityBot, ClaudeBot (Anthropic) und Google-Extended (Google).
Damit ein KI-System eine Website zitieren kann, muss sein Crawler die Seiten zuerst lesen dürfen. Der Zugang wird in der robots.txt gesteuert. Viele Websites sperren KI-Crawler unbeabsichtigt aus und schliessen sich so von der KI-Suche aus.
Zu den relevanten KI-Crawlern zählen GPTBot und OAI-SearchBot (OpenAI/ChatGPT), PerplexityBot (Perplexity), ClaudeBot (Anthropic), Google-Extended (Google AI und Gemini) sowie CCBot (Common Crawl, Trainingsdaten vieler Modelle).
Die explizite Freigabe dieser Crawler in der robots.txt ist die technische Grundvoraussetzung für KI-Sichtbarkeit.
Verwandte Begriffe
robots.txt (für KI)
Die robots.txt ist eine Datei im Web-Root, die festlegt, welche Crawler eine Website lesen…
llms.txt
Die llms.txt ist eine Datei im Web-Root einer Website, die KI-Systemen in kompakter Form z…
GPTBot
GPTBot ist der Webcrawler von OpenAI, mit dem Inhalte für ChatGPT und die OpenAI-Modelle e…