Crawlbudget is de hoeveelheid crawlwerk die Google aan een website besteedt. Google gaat uit van twee dingen: de crawlcapaciteit, oftewel hoeveel verzoeken je server aankan zonder overbelast te raken, en de crawlvraag, oftewel hoeveel Google je inhoud wil crawlen op basis van omvang, wijzigingen en populariteit. Google beschrijft dit in Optimize your crawl budget.
Voor wie is het belangrijk?
Vooral voor grote websites. Google noemt als ruwe richtlijn sites met meer dan een miljoen pagina’s die wekelijks veranderen, sites met meer dan tienduizend pagina’s die dagelijks veranderen, en sites met veel URL’s die in Search Console als gevonden maar nog niet geïndexeerd staan. Worden je nieuwe pagina’s kort na publicatie gecrawld, dan is een actuele XML-sitemap volgens Google meestal genoeg.
Wat verspilt crawlbudget?
- dubbele URL’s met dezelfde inhoud;
- gefilterde of anders gesorteerde varianten van pagina’s;
- soft 404’s en verwijderde pagina’s die geen 404 of 410 teruggeven;
- lange ketens van redirects;
- trage antwoorden en serverfouten.
Voorbeeld
Stel: een webshop met duizenden producten laat elke filtercombinatie een eigen URL krijgen. Google besteedt dan tijd aan varianten als ?kleur=rood&maat=m&sortering=prijs in plaats van aan nieuwe producten. Hoe je dat beheerst, lees je bij filternavigatie en in Categoriepagina’s die gevonden worden.