Anthropic, de maker van Claude, beschrijft in zijn helpartikel over crawlen drie bots:
- ClaudeBot verzamelt webinhoud die kan bijdragen aan training. Blokkeer je hem, dan geef je aan dat je toekomstige inhoud buiten de trainingsdata moet blijven.
- Claude-SearchBot doorzoekt het web om zoekresultaten voor gebruikers beter te maken. Blokkeren voorkomt dat je inhoud daarvoor wordt geïndexeerd, wat je zichtbaarheid in zoekantwoorden kan verkleinen.
- Claude-User haalt pagina’s op wanneer een gebruiker Claude een vraag stelt. Blokkeren voorkomt dat Claude je inhoud ophaalt voor zo’n vraag.
Anthropic schrijft dat zijn bots de gangbare robots.txt-regels volgen en ook de niet-standaard regel Crawl-delay ondersteunen. Blokkeren op IP-adres werkt volgens Anthropic niet betrouwbaar; robots.txt is de aanbevolen manier.
Voorbeeld
Training weigeren, zoeken toestaan:
User-agent: ClaudeBot
Disallow: /
User-agent: Claude-SearchBot
Allow: /Veelgemaakte fout
Alleen ClaudeBot blokkeren en denken dat Claude je site dan niet meer gebruikt, of alle drie blokkeren en verwachten dat Claude nog naar je pagina’s linkt. Elke bot heeft een eigen doel. Kies per bot wat je wilt.
Meer in AI-crawlers toestaan of blokkeren met robots.txt en bij AI-crawler.