Google noemt crawler in zijn overzicht van crawlers en fetchers een algemene term voor elk programma dat automatisch websites ontdekt en scant. Google deelt zijn eigen bots in drie groepen in: gewone crawlers zoals Googlebot, die bij automatisch crawlen altijd robots.txt volgen; crawlers voor speciale gevallen, die werken op basis van een afspraak met de site; en fetchers die een pagina ophalen omdat een gebruiker daarom vraagt.
Waarom is het belangrijk?
Wat een crawler niet kan ophalen, kan een zoekmachine of AI-dienst niet gebruiken. Een crawler meldt zich bij je server met een user-agent. Zo zie je in je serverlogs welke bots je site bezoeken.
Voorbeeld
Een regel in een serverlog van een bezoek door Bingbot kan er zo uitzien (het IP-adres is een voorbeeld):
203.0.113.7 - - [11/Nov/2026:09:14:02 +0100] "GET /contact HTTP/1.1" 200 5120 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"De user-agentstring komt uit Microsofts overzicht van Bing-crawlers. Omdat zo’n string makkelijk na te bootsen is, controleer je het IP-adres apart.
Veelgemaakte fout
Crawlen en indexeren door elkaar halen. Een crawler haalt een pagina op; of de zoekmachine hem daarna opneemt, is een aparte stap. Zie indexering.
Meer bij AI-crawler en in AI-crawlers toestaan of blokkeren met robots.txt.