Een AI-crawler is een crawler die werkt voor een AI-dienst. De grote aanbieders onderscheiden in hun documentatie drie soorten:
| Doel | OpenAI | Anthropic | Perplexity |
|---|---|---|---|
| Training van modellen | GPTBot | ClaudeBot | geen (PerplexityBot traint niet) |
| Zoeken en tonen in antwoorden | OAI-SearchBot | Claude-SearchBot | PerplexityBot |
| Ophalen op verzoek van een gebruiker | ChatGPT-User | Claude-User | Perplexity-User |
Bronnen: OpenAI, Anthropic en Perplexity. Google heeft voor AI-training en grounding geen aparte bot, maar het robots.txt-token Google-Extended.
Waarom is het belangrijk?
Met robots.txt kies je per bot. Je kunt training weigeren en zoeken toestaan. Let op: bots die een pagina ophalen omdat een gebruiker erom vraagt, volgen robots.txt niet altijd. OpenAI schrijft dat de regels voor ChatGPT-User mogelijk niet gelden; Perplexity schrijft dat Perplexity-User robots.txt meestal negeert.
Voorbeeld
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /Hiermee weiger je training door OpenAI en sta je de zoekbot van ChatGPT toe.
Veelgemaakte fout
Alle AI-bots in één keer blokkeren. Dan vallen ook de zoekbots weg, en daarmee de kans dat een AI-assistent naar je pagina’s linkt.
Meer in AI-crawlers toestaan of blokkeren met robots.txt en bij user-agent.