In de HTTP-standaard RFC 9110 is User-Agent een header met informatie over de software die het verzoek doet. De waarde bestaat uit een of meer productnamen met een optioneel versienummer, soms met een toelichting tussen haakjes. Servers gebruiken die informatie onder meer voor statistieken en om problemen met bepaalde software op te sporen.
User-agent in robots.txt
In robots.txt staat bij User-agent: een kort token, niet de volledige header. Voor Googlebot is dat Googlebot, voor de trainingsbot van OpenAI GPTBot. Een token hoeft niet altijd bij een eigen bot te horen: Google-Extended is volgens Google een token zonder eigen user-agent in HTTP-verzoeken.
Voorbeeld
Zo meldt GPTBot zich in een verzoek (versie kan veranderen):
User-Agent: Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; GPTBot/1.4; +https://openai.com/gptbotEn zo spreek je hem aan in robots.txt:
User-agent: GPTBot
Disallow: /intern/Veelgemaakte fout
Een bezoek vertrouwen omdat de user-agent Googlebot zegt. Google schrijft dat de user-agent van Googlebot vaak wordt nagebootst. Controleer het IP-adres, bijvoorbeeld met een omgekeerde DNS-opzoeking of de IP-lijsten die aanbieders publiceren.
Meer bij AI-crawler en in AI-crawlers toestaan of blokkeren met robots.txt.