OAI-SearchBot is de bot die OpenAI gebruikt voor zoeken. Volgens het overzicht van OpenAI-crawlers zorgt hij ervoor dat websites in de zoekfuncties van ChatGPT kunnen verschijnen. Een site die OAI-SearchBot blokkeert, komt niet in de zoekantwoorden van ChatGPT, maar kan wel nog als navigatielink worden getoond. De bot volgt robots.txt; het token is OAI-SearchBot.
Waarom is het belangrijk?
Wil je dat ChatGPT bij een zoekvraag naar je pagina’s kan linken, dan moet deze bot je site mogen ophalen. OpenAI schrijft dat het voor zoekresultaten ongeveer 24 uur kan duren voordat een wijziging in je robots.txt is verwerkt.
Hoe controleer je het?
Zoek in je serverlogs naar OAI-SearchBot. Het deel van de user-agent waaraan je hem herkent ziet er zo uit (het versienummer kan veranderen):
compatible; OAI-SearchBot/1.4; +https://openai.com/searchbotControleer daarnaast je robots.txt en eventuele botbescherming bij je hosting of CDN. Een firewall die onbekende bots weert, kan deze bot ook tegenhouden.
Veelgemaakte fout
OAI-SearchBot verwarren met GPTBot. GPTBot is voor training, OAI-SearchBot voor zoeken. OpenAI noemt de instellingen onafhankelijk van elkaar. Een derde bot, ChatGPT-User, haalt pagina’s op bij bepaalde acties van gebruikers; daarvoor gelden robots.txt-regels volgens OpenAI mogelijk niet.
Meer in Hoe word je zichtbaar in ChatGPT? en AI-crawlers toestaan of blokkeren met robots.txt.