Google-Extended is geen aparte crawler. Volgens Google’s lijst met gangbare crawlers is het een los producttoken in robots.txt. Google crawlt met zijn bestaande user-agents en gebruikt het token alleen als instelling. Het regelt of je inhoud gebruikt mag worden voor de training van toekomstige Gemini-modellen die Gemini-apps en de Vertex AI API voor Gemini aandrijven, en voor grounding in Gemini-apps en Grounding with Google Search op Vertex AI.
Wat regelt het niet?
Google schrijft dat Google-Extended geen invloed heeft op de opname van een site in Google Zoeken en geen rankingsignaal is. Ook AI Overviews en AI Mode vallen onder Google Zoeken. Wat daar verschijnt, regel je volgens AI features and your website met de robots.txt-regels voor Googlebot en met nosnippet, data-nosnippet, max-snippet of noindex.
Voorbeeld
User-agent: Google-Extended
Disallow: /Hiermee geef je aan dat je inhoud niet gebruikt mag worden voor Gemini-training en grounding in de genoemde producten. Je blijft gewoon vindbaar in Google Zoeken.
Veelgemaakte fout
In je serverlogs zoeken naar Google-Extended. Omdat het token geen eigen user-agent heeft, zie je het daar nooit. Je ziet alleen de gewone Google-crawlers.