OAI-SearchBot ist der OpenAI-Crawler für Suchfunktionen. Wer in ChatGPT Search mit Webquellen erscheinen möchte, sollte deshalb prüfen, ob dieser Bot in robots.txt unbeabsichtigt blockiert wird.
OAI-SearchBot und GPTBot sind getrennt
OpenAI dokumentiert Such-Crawling und Training als getrennte Einstellungen. Eine Website kann OAI-SearchBot für Search zulassen und GPTBot für Training anders behandeln.
Was passiert bei einer Blockierung?
Laut OpenAI werden Websites, die OAI-SearchBot ausschließen, nicht in ChatGPT-Search-Antworten als Suchergebnis ausgespielt; navigative Links können davon getrennt behandelt werden.
Wie sollte robots.txt aussehen?
Wenn ChatGPT-Search-Sichtbarkeit gewünscht ist, sollte OAI-SearchBot explizit oder über die allgemeine Regel crawlberechtigte Inhalte erreichen können. Training sollte als separate Geschäfts- und Rechtsentscheidung dokumentiert werden.
Crawler-Freigabe allein reicht nicht
Auch eine technisch erreichbare Seite muss relevant, verständlich und zitierfähig sein. Informationsarchitektur, fachliche Qualität, Entitäten und Quellenbezüge bleiben entscheidend.