Na het crawlen probeert Google te begrijpen waar een pagina over gaat. Volgens zijn uitleg over hoe Google Zoeken werkt groepeert Google pagina’s met vergelijkbare inhoud en kiest het per groep de meest representatieve pagina: de canonical. Google verzamelt daarbij signalen zoals de taal van de pagina, het land waarop de inhoud gericht is en de bruikbaarheid. Niet elke gecrawlde pagina wordt opgenomen.
Waarom is het belangrijk?
De index is de voorraad waaruit Google kiest. Google schrijft in AI features and your website dat ook AI Overviews en AI Mode alleen pagina’s gebruiken die geïndexeerd zijn en met een tekstfragment mogen verschijnen.
Voorbeeld
Een pagina die je bewust buiten de index wilt houden, krijgt een noindex-regel:
<meta name="robots" content="noindex">Hoe controleer je het?
Gebruik URL-inspectie in Google Search Console. Je ziet of de pagina in de index staat, welke canonical Google koos en of er een reden is waarom de pagina niet is opgenomen.
Veelgemaakte fout
Noindex combineren met een blokkade in robots.txt. Google schrijft in zijn uitleg over noindex dat de crawler de noindex-regel dan nooit ziet. De pagina kan dan toch in de resultaten verschijnen als andere pagina’s ernaar linken.
Meer in Waarom staat mijn pagina niet in Google? en bij noindex.