X-Robots-Tag is een HTTP-header waarmee de server instructies meestuurt over indexering en weergave. De regels zijn dezelfde als bij de meta robots-tag, zoals noindex en nofollow. Omdat de instructie in het HTTP-antwoord staat en niet in de HTML, werkt hij ook voor pdf’s, afbeeldingen en andere bestanden. Google beschrijft de header in de specificatie van robots-regels.
Voorbeeld
HTTP/1.1 200 OK
X-Robots-Tag: noindexJe kunt een regel ook op één crawler richten, bijvoorbeeld X-Robots-Tag: googlebot: nofollow. De header wordt meestal ingesteld in de configuratie van de webserver of bij de hosting.
Veelgemaakte fout
Alleen in de paginabron zoeken. Een X-Robots-Tag zie je niet op de pagina en niet in de HTML. Hij kan achterblijven na een testperiode of door een instelling bij je hosting, waardoor een pagina uit Google verdwijnt zonder dat iemand het merkt.
Hoe controleer je het?
Bekijk de responseheaders in de ontwikkelaarstools van je browser (tabblad Netwerk) of met de URL-inspectie in Google Search Console. Atlas, de onderzoeksengine van Outseen, controleert deze header ook: op de eigen testsite van Outseen legde Atlas zo een noindex in de X-Robots-Tag vast, met bron, URL en meetmoment. Dat voorbeeld staat in Hoe Atlas een website onderzoekt.