Met robots.txt geef je per AI-crawler aan of die je website mag ophalen. OpenAI, Anthropic en Google gebruiken aparte crawlers of tokens voor zoeken en voor het trainen van modellen. Daardoor kun je training weigeren en toch vindbaar blijven in hun AI-zoekfuncties. robots.txt is wel een verzoek dat nette crawlers opvolgen. Het beveiligt niets en het garandeert geen bezoek of vermelding.
Wat is robots.txt?
robots.txt is een tekstbestand in de hoofdmap van je domein, bijvoorbeeld jouwdomein.nl/robots.txt. Het bestand bevat groepen regels. Elke groep begint met een of meer User-agent-regels: de naam van de crawler waarvoor de regels gelden. Daarna volgen Allow en Disallow met de paden die wel of niet mogen.
De regels zijn sinds 2022 vastgelegd in RFC 9309, een standaard van de IETF. Daarin staat ook in welke volgorde een nette crawler het bestand leest. Een paar van die regels worden vaak verkeerd begrepen, vooral de eerste twee stappen hieronder.
Zo leest een crawler je robots.txt
- Bestand ophalenGeeft robots.txt een 4xx-foutcode, dan mag de crawler alles ophalen. Bij een serverfout (5xx) moet hij aannemen dat alles verboden is.
- Eigen groep zoekenHeeft de crawler een eigen groep, zoals
User-agent: GPTBot, dan volgt hij alleen die groep en negeert hijUser-agent: *. - Anders de algemene groepStaat de crawler nergens genoemd, dan gelden de regels onder
*. Is die er ook niet, dan zijn er geen beperkingen. - Langste regel wintPassen
AllowenDisallowallebei op een URL, dan geldt de regel met het langste overeenkomende pad. - Ophalen of overslaanWat niet verboden is, mag. De crawler beslist daarna zelf of en wanneer hij langskomt.
Google schrijft in de introductie op robots.txt dat het bestand bedoeld is om crawlerverkeer te sturen, en geen manier is om een pagina uit Google te houden. Daarvoor gebruik je noindex of een wachtwoord.
Welke AI‑crawlers zijn er?
De tabel bevat de crawlers en tokens die de grote AI-diensten zelf documenteren, geraadpleegd op 11 november 2026. Een user-agent is de naam waarmee een crawler zich meldt en waarmee je hem in robots.txt aanspreekt.
| User-agent | Bedrijf | Doel | Houdt zich aan robots.txt? | Gevolg van blokkeren |
|---|---|---|---|---|
| OAI-SearchBot | OpenAI | Websites tonen en linken in ChatGPT search | Ja | Je pagina’s verschijnen niet in zoekantwoorden van ChatGPT |
| ChatGPT-User | OpenAI | Pagina ophalen bij een actie van een gebruiker | Mogelijk niet, omdat de gebruiker erom vraagt | Bepaalt niet of je in ChatGPT search staat |
| GPTBot | OpenAI | Inhoud voor modeltraining | Ja | Signaal dat je inhoud niet voor training mag worden gebruikt |
| Claude-SearchBot | Anthropic | Kwaliteit van zoekresultaten in Claude | Ja | Minder zichtbaarheid en nauwkeurigheid in zoekresultaten |
| Claude-User | Anthropic | Pagina ophalen bij een vraag van een gebruiker | Ja | Claude kan je pagina’s niet ophalen voor gebruikersvragen |
| ClaudeBot | Anthropic | Inhoud voor modeltraining | Ja | Toekomstig materiaal wordt uitgesloten van training |
| PerplexityBot | Perplexity | Websites tonen en linken in Perplexity; niet voor training | Perplexity raadt aan hem toe te staan in robots.txt | Je pagina’s kunnen ontbreken in de zoekresultaten van Perplexity |
| Perplexity-User | Perplexity | Pagina ophalen bij een vraag van een gebruiker | Doorgaans niet, volgens Perplexity | Weinig effect via robots.txt |
| Google-Extended | Token voor training van Gemini en grounding in Gemini Apps | Ja, het is een token in robots.txt zonder eigen crawler | Geen invloed op Google Zoeken; wel op grounding in Gemini Apps | |
| Googlebot | Google Zoeken, inclusief AI Overviews en AI Mode | Ja | Google kan je pagina’s niet meer ophalen voor Zoeken | |
| Bingbot | Microsoft | Bing en Copilot | Ja | Microsoft raadt af Bingbot te blokkeren; minder zichtbaarheid in Bing en Copilot |
Bronnen: OpenAI, Anthropic, Perplexity, Google en Microsoft. Hoe deze diensten hun antwoorden samenstellen, lees je in ChatGPT, Gemini, Perplexity, Copilot en Claude: waar halen ze hun antwoorden vandaan?.
Hoe zien de regels eruit?
Alles toestaan
Heb je geen robots.txt, of staat er alleen een lege *-groep, dan mogen alle crawlers alles ophalen. Wil je dat expliciet maken:
User-agent: *
Allow: /
Sitemap: https://jouwdomein.nl/sitemap.xmlTraining weigeren, zoeken toestaan
Deze regels weigeren de trainingscrawlers van OpenAI en Anthropic. De zoekcrawlers vallen onder de *-groep en mogen verder.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: *
Disallow: /winkelwagen/Let op het gevolg van de eigen groepen: GPTBot en ClaudeBot volgen alleen hun eigen groep. De regel voor /winkelwagen/ geldt voor hen niet meer, maar dat maakt niet uit, want ze mogen al niets.
Wil je ook Gemini-training weigeren, dan voeg je een groep voor Google-Extended toe. Weeg dat af: Google gebruikt hetzelfde token voor grounding in Gemini Apps. Blokkeren betekent dat Gemini je inhoud niet meer mag gebruiken om een antwoord te onderbouwen.
Eén map uitsluiten voor een zoekcrawler
User-agent: OAI-SearchBot
Disallow: /intern/
Allow: /OAI-SearchBot mag hier alles behalve /intern/. Dat helpt om crawlerverkeer te sturen. Een map met vertrouwelijke informatie bescherm je er niet mee, zie hieronder.
Crawlsnelheid beperken
Anthropic ondersteunt de niet-standaard regel Crawl-delay, bijvoorbeeld Crawl-delay: 1 in de groep van ClaudeBot. Andere aanbieders noemen die regel niet in hun documentatie. Ga er dus niet van uit dat elke crawler hem volgt.
Training weigeren of zoeken toestaan: wat kies je?
Je maakt in robots.txt eigenlijk twee keuzes los van elkaar: of je inhoud voor training mag worden gebruikt, en of AI-zoekfuncties je pagina’s mogen ophalen en tonen. Per wens ziet dat er zo uit.
Wat je wilt, wat je doet en wat het kost
| Wat je doet | Wat je ervoor inlevert | |
|---|---|---|
| Zo vindbaar mogelijk in AI-zoekfuncties | Zoekcrawlers toestaan en hun IP-adressen doorlaten in je firewall of CDN | Niets, behalve crawlerverkeer |
| Geen gebruik voor modeltraining | GPTBot en ClaudeBot blokkeren | Bij OpenAI en Anthropic geen effect op hun zoekfuncties, volgens hun documentatie |
| Geen gebruik door Gemini | Google-Extended blokkeren | Geen grounding in Gemini Apps; Google Zoeken blijft ongemoeid |
| Helemaal niet in AI-antwoorden | Zoekcrawlers blokkeren, en bij Google nosnippet gebruiken | Je mist verwijzingen vanuit die diensten |
Er is geen keuze die voor iedereen klopt. Een webshop die gevonden wil worden bij productvragen, heeft weinig reden om zoekcrawlers te weren. Een uitgever die verdient aan zijn artikelen, kan training anders wegen.
Wat doet robots.txt niet?
- robots.txt beveiligt niets. RFC 9309 zegt het letterlijk: “These rules are not a form of access authorization.” Het bestand is openbaar, dus een lijst met verboden mappen vertelt iedereen ook waar ze staan. Gebruik voor vertrouwelijke inhoud een login.
- Niet elke crawler luistert. Google schrijft dat crawlers zelf kiezen of ze de regels volgen. Ophalers die op verzoek van een gebruiker werken, zoals Perplexity-User en mogelijk ChatGPT-User, kunnen robots.txt negeren.
- IP-blokkades zijn geen betere opt-out. Anthropic schrijft dat blokkeren op IP-adres niet betrouwbaar werkt, omdat de crawler dan je robots.txt ook niet kan lezen.
- Toegang is geen bezoek, en een bezoek is geen vermelding. Een toegestane crawler komt niet per se langs. En een pagina die is opgehaald, wordt niet per se in een antwoord gebruikt.
Hoe controleer je je instellingen?
Je hebt er geen speciale software voor nodig. De meeste controles doe je met je browser en de instellingen van je hosting of CDN.
Je robots.txt in vijf minuten controleren
- Open
jouwdomein.nl/robots.txtin je browser en kijk of je het bestand ziet of een foutpagina - Zoek naar groepen met de namen uit de tabel en controleer dat geen zoekcrawler onbedoeld op
Disallow: /staat - Kijk in je CDN of firewall of botbeveiliging AI-crawlers tegenhoudt; OpenAI en Perplexity publiceren IP-lijsten die je kunt doorlaten
- Zoek in je serverlogboeken naar de user-agents uit de tabel, zodat je ziet welke crawlers echt langskomen
- Wacht na een wijziging een dag: OpenAI en Perplexity noemen ongeveer 24 uur voordat een wijziging doorwerkt
Toegang regelen is één stap. Of een crawler je inhoud kan lezen, hangt ook af van hoe je pagina’s zijn gebouwd. Lees daarvoor Kunnen AI-crawlers je website lezen?. Een aanvullend bestand zoals llms.txt komt aan bod in Wat doet llms.txt voor je website?.
Hoe Outseen dit aanpakt
Atlas, de eigen onderzoeksengine van Outseen, leest het robotsbeleid en de indexeringsinstructies in code en headers die je website openbaar teruggeeft. Bij elke bevinding legt Atlas vast wat is aangetroffen, in welke bron, op welke URL en wanneer. Na een aanpassing kan Atlas opnieuw controleren. Of een AI-dienst je pagina daarna ook noemt, zegt die controle niet.
Wat betekent dit voor jouw bedrijf?
Voor de meeste bedrijven die klanten willen bereiken, is de veilige keuze: zoekcrawlers van AI-diensten toestaan en alleen bewust beslissen over de trainingscrawlers. Kijk eerst wat er nu in je robots.txt staat, en vraag je hostingpartij of je CDN AI-crawlers standaard tegenhoudt. Botbeveiliging kan crawlers tegenhouden, ook als je robots.txt ze toestaat.
Heb je inhoud die niet openbaar mag zijn, zet die dan achter een login. robots.txt is daar niet voor bedoeld. Wil je weten hoe zoekcrawlers in het algemeen met je site omgaan, lees dan ook het begrip crawlen en de technische SEO-checklist.