GPTBot
GPTBot ist der Webcrawler von OpenAI, mit dem Inhalte für ChatGPT und die OpenAI-Modelle erfasst werden — seine Freigabe in der robots.txt entscheidet, ob ChatGPT eine Website nutzen kann.
Der GPTBot besucht Websites, um deren Inhalte für ChatGPT verfügbar zu machen. Wird er in der robots.txt blockiert, kann ChatGPT die betreffenden Seiten nicht lesen und das Unternehmen nicht auf ihrer Basis empfehlen.
Neben dem GPTBot betreibt OpenAI weitere Agenten wie den OAI-SearchBot (für die Suchfunktion) und den ChatGPT-User (für nutzerausgelöste Abrufe). Für volle Sichtbarkeit sollten alle freigegeben sein.
Die Freigabe erfolgt über einen Eintrag `User-agent: GPTBot` mit `Allow: /` in der robots.txt.
Verwandte Begriffe
KI-Crawler
KI-Crawler sind automatisierte Programme, mit denen KI-Anbieter Webinhalte erfassen — die …
robots.txt (für KI)
Die robots.txt ist eine Datei im Web-Root, die festlegt, welche Crawler eine Website lesen…
ChatGPT-Sichtbarkeit
ChatGPT-Sichtbarkeit beschreibt, ob und wie ein Unternehmen von ChatGPT gelesen, korrekt v…