robots.txt is een tekstbestand in de hoofdmap van een website, bijvoorbeeld https://www.voorbeeld.nl/robots.txt. Daarin geef je per crawler aan welke paden die wel of niet mag ophalen. Elke host heeft één eigen bestand: een subdomein heeft dus een eigen robots.txt nodig. Google legt de regels uit in How to write and submit a robots.txt file.
Voorbeeld
User-agent: *
Disallow: /winkelwagen/
Sitemap: https://www.voorbeeld.nl/sitemap.xmlAlle crawlers mogen de hele site ophalen, behalve de map /winkelwagen/. De laatste regel wijst naar de XML-sitemap.
Veelgemaakte fout
robots.txt gebruiken om een pagina uit Google te houden. Google schrijft dat robots.txt daar niet voor bedoeld is. Een geblokkeerde URL kan toch in de resultaten verschijnen als andere sites ernaar linken, alleen zonder omschrijving. Wil je een pagina uit de zoekresultaten houden, gebruik dan noindex en laat de pagina juist crawlbaar, anders ziet Google die instructie nooit.
Hoe controleer je het?
Open /robots.txt op je eigen domein in de browser en lees de regels na. Controleer vooral dat er geen Disallow: / staat die na een testperiode is blijven staan. Hoe je AI-crawlers toestaat of blokkeert, lees je in AI-crawlers toestaan of blokkeren met robots.txt.