PerplexityBot is de zoekcrawler van Perplexity, een AI-assistent die antwoorden met bronlinks geeft. In de crawlerdocumentatie van Perplexity staat dat de bot bedoeld is om websites te tonen en te linken in de zoekresultaten van Perplexity. Perplexity raadt sites die daar willen verschijnen aan om PerplexityBot in robots.txt toe te staan. De user-agent ziet er zo uit:
Mozilla/5.0 (compatible; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot)Perplexity-User
Naast PerplexityBot heeft Perplexity de fetcher Perplexity-User. Die bezoekt een pagina wanneer een gebruiker een vraag stelt, zodat het antwoord naar de bron kan linken. Omdat een gebruiker het verzoek doet, negeert Perplexity-User robots.txt volgens Perplexity meestal. Ook Perplexity-User wordt volgens de documentatie niet gebruikt voor training.
Voorbeeld
User-agent: PerplexityBot
Allow: /Veelgemaakte fout
Denken dat je met een regel voor PerplexityBot alle bezoeken van Perplexity regelt. Bezoeken door Perplexity-User vallen daar meestal niet onder. Wil je een pagina echt afschermen, gebruik dan een wachtwoord of inlog.
Meer in AI-crawlers toestaan of blokkeren met robots.txt en bij AI-crawler.