De meta robots-tag is een HTML-element in de <head> van een pagina. Je geeft er zoekmachines instructies mee over die ene pagina: mag hij in de resultaten, mogen de links gevolgd worden, mag er een tekstfragment bij. Met name="robots" geldt de regel voor alle crawlers; met name="googlebot" alleen voor Google. Google beschrijft alle regels in de specificatie van de robots meta tag.
Voorbeeld
<meta name="robots" content="noindex, nofollow">Deze pagina mag niet in de zoekresultaten en de links erop worden niet gevolgd. Andere regels die Google ondersteunt zijn onder meer nosnippet (geen tekstfragment), max-snippet (maximale lengte van het fragment) en max-image-preview (grootte van de afbeeldingsvoorbeelden). Spreken twee regels elkaar tegen, dan volgt Google de strengste.
Veelgemaakte fout
Een pagina met een meta robots-tag tegelijk blokkeren in robots.txt. Een crawler leest de tag pas als hij de pagina mag ophalen. Is de URL geblokkeerd, dan ziet Google de noindex nooit.
Hoe controleer je het?
Bekijk de paginabron en zoek op robots. Let ook op de HTTP-header: dezelfde regels kunnen in de X-Robots-Tag staan, en die zie je niet in de HTML. Waarom een pagina om deze en andere redenen ontbreekt, lees je in Waarom staat mijn pagina niet in Google?