Bij crawlen downloadt een crawler de tekst, afbeeldingen en andere bestanden van een pagina. Google vindt nieuwe URL’s volgens zijn uitleg over hoe Google Zoeken werkt door bekende pagina’s opnieuw te bezoeken, links naar nieuwe pagina’s te volgen en XML-sitemaps te verwerken. Voordat Googlebot een URL ophaalt, kijkt hij volgens Google’s uitleg over JavaScript eerst in robots.txt of dat mag.
Waarom is het belangrijk?
Wat niet gecrawld wordt, kan niet geïndexeerd worden. Pagina’s zonder interne links of vermelding in de sitemap blijven makkelijk onopgemerkt.
Voorbeeld
Met robots.txt vraag je crawlers om delen van je site over te slaan, zoals de winkelwagen:
User-agent: *
Disallow: /winkelwagen/Hoe controleer je het?
In Google Search Console zie je met URL-inspectie of en wanneer Google een pagina heeft gecrawld. Je serverlogs laten zien welke bots welke URL’s ophalen en met welke statuscode.
Veelgemaakte fout
Een pagina in robots.txt blokkeren om hem uit Google te houden. Google schrijft in zijn uitleg over Googlebot dat een geblokkeerde URL toch in de zoekresultaten kan verschijnen. Gebruik daarvoor noindex.