Gratis Quickscan

Begrippen

GPTBot

Geschreven door
Outseen
Bijgewerkt

GPTBot is de crawler van OpenAI die webinhoud verzamelt die gebruikt kan worden om de generatieve AI-funderingsmodellen van OpenAI te trainen. Blokkeer je GPTBot in robots.txt, dan geef je aan dat je inhoud niet voor die training gebruikt mag worden.

GPTBot is een van de bots die OpenAI beschrijft in zijn overzicht van OpenAI-crawlers. OpenAI gebruikt GPTBot om zijn generatieve AI-funderingsmodellen nuttiger en veiliger te maken: de bot haalt inhoud op die voor training gebruikt kan worden. GPTBot volgt robots.txt. Het token in robots.txt is GPTBot.

Hoe herken je GPTBot?

In je serverlogs staat een user-agent zoals deze (het versienummer kan veranderen):

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbot

OpenAI publiceert per bot ook een lijst met IP-adressen, zodat je kunt nagaan of een verzoek echt van OpenAI komt.

Voorbeeld

User-agent: GPTBot
Disallow: /

Veelgemaakte fout

Denken dat je met het blokkeren van GPTBot uit ChatGPT verdwijnt, of dat toestaan je zichtbaar maakt in ChatGPT. Voor zoeken in ChatGPT gebruikt OpenAI een andere bot: OAI-SearchBot. OpenAI schrijft dat elke instelling los staat van de andere. Je kunt dus GPTBot weigeren en OAI-SearchBot toestaan.

Meer in AI-crawlers toestaan of blokkeren met robots.txt en bij AI-crawler.

Bronnen

Verder lezen