Googlebot is de crawler van Google Zoeken. Google onderscheidt in zijn uitleg over Googlebot Googlebot Smartphone, die zich als mobiele bezoeker gedraagt, en Googlebot Desktop. De meeste verzoeken komen van de mobiele crawler, omdat Google vooral de mobiele versie van pagina’s indexeert. Beide gebruiken in robots.txt het token Googlebot. Regels voor dat token gelden volgens Google voor Google Zoeken en al zijn zoekfuncties.
Goed om te weten
Googlebot leest van een HTML-bestand of ander ondersteund bestandstype de eerste 2 MB, volgens dezelfde uitleg. Voor pdf’s is dat 64 MB. Staat belangrijke inhoud pas na die grens in de code, dan neemt Google die niet mee.
Hoe controleer je het?
De user-agent van Googlebot wordt vaak nagebootst door andere bots. Google raadt aan een verzoek te controleren met een omgekeerde DNS-opzoeking van het IP-adres, of het IP-adres te vergelijken met de lijsten die Google publiceert.
host <IP-adres uit je serverlog>Hoort de naam die terugkomt niet bij Google, of staat het IP-adres niet in de lijsten van Google, dan is het bezoek niet van Googlebot.
Veelgemaakte fout
Robots.txt gebruiken om een pagina uit Google te halen. Google schrijft dat een geblokkeerde URL toch in de zoekresultaten kan verschijnen. Wil je een pagina niet in Google, gebruik dan noindex en laat de pagina crawlbaar.
Meer in Waarom staat mijn pagina niet in Google? en bij mobile-first indexering.