Kennisbank

Hoe kiezen AI-assistenten welke websites ze noemen?

Geschreven door
Outseen
Bijgewerkt

Kort antwoord

AI-assistenten antwoorden uit wat hun taalmodel tijdens de training leerde, of ze zoeken live en baseren het antwoord op gevonden pagina’s. Alleen bij live zoeken kunnen ze naar jouw website linken; welke pagina’s ze kiezen, hangt af van de vraag, de zoekresultaten en het platform.

AI-assistenten kiezen bronnen op twee manieren. Het taalmodel antwoordt uit wat het tijdens de training heeft geleerd, of de assistent zoekt live op internet en baseert het antwoord op de pagina’s die het vindt. Alleen bij live zoeken kan een AI-assistent naar jouw website linken. Welke pagina’s dan worden genoemd, hangt af van de vraag, de opgehaalde zoekresultaten en het platform.

Trainingsdata of live zoeken?

Een taalmodel leert van een grote verzameling teksten. Wat erin zit, is kennis tot een bepaalde datum: de kennisafsluitdatum. Vraag je iets zonder dat de assistent zoekt, dan komt het antwoord uit die opgeslagen kennis. Er staat dan meestal geen bronlink bij, en recente wijzigingen op je website tellen niet mee.

Veel assistenten kunnen ook eerst zoeken. Dat heet retrieval: de assistent haalt actuele pagina’s op en gebruikt die als basis voor het antwoord. De bijbehorende vakterm is retrieval-augmented generation. Dan kan je website als bron verschijnen.

Twee manieren waarop een AI-assistent antwoordt

Uit trainingsdataMet live zoeken
Waar komt het antwoord vandaan?Kennis die het taalmodel tijdens de training opdeedPagina’s die de assistent op het moment van de vraag ophaalt
Hoe actueel?Tot de kennisafsluitdatumZo actueel als de gevonden pagina’s
Link naar je website?Meestal nietKan, als je pagina bij de bronnen zit
Welke bots horen erbij?Trainingsbots, zoals GPTBot en ClaudeBotZoekbots, zoals OAI-SearchBot, Claude-SearchBot en PerplexityBot
Telt een wijziging op je site mee?Pas bij een volgend modelZodra de pagina opnieuw is opgehaald
Vereenvoudigd. Een assistent kan beide combineren in één antwoord.

AI-bedrijven gebruiken voor beide doelen vaak aparte AI-crawlers. OpenAI onderscheidt in zijn crawlerdocumentatie GPTBot, voor inhoud die mogelijk wordt gebruikt om modellen te trainen, en OAI-SearchBot, die websites laat verschijnen in de zoekfunctie van ChatGPT. Anthropic noemt in zijn crawlerdocumentatie ClaudeBot voor training, Claude-SearchBot voor zoekresultaten en Claude-User voor pagina’s die een gebruiker opvraagt. Perplexity schrijft dat PerplexityBot websites laat verschijnen en linkt in de zoekresultaten, en niet wordt gebruikt voor het trainen van modellen (Perplexity Crawlers). Hoe je die bots apart toelaat of blokkeert, lees je in AI-crawlers toestaan of blokkeren met robots.txt.

Wat is query fan-out?

Bij query fan-out splitst een systeem één vraag op in meerdere verwante zoekopdrachten. Google beschrijft in AI features and your website dat AI Overviews en AI Mode deze techniek kunnen gebruiken: het systeem zoekt over deelonderwerpen en verschillende gegevensbronnen tegelijk. Daardoor kan Google meer verschillende pagina’s als link tonen dan bij een gewone zoekopdracht.

Zo kan één vraag uiteenvallen in deelzoekopdrachten

  1. VraagIemand vraagt: welke e-bike past bij woon-werkverkeer van 25 kilometer?
  2. DeelvragenHet systeem zoekt apart naar actieradius, accu’s, framemaat en onderhoud.
  3. ZoekenPer deelvraag haalt het pagina’s op die daar het best bij passen.
  4. AntwoordHet schrijft één antwoord en kan per deel een andere bron noemen.
Vereenvoudigd voorbeeld. Welke deelvragen een systeem kiest, maken de platforms niet bekend.

Voor jou betekent dat: een pagina die een deelvraag goed beantwoordt, kan als bron verschijnen, ook als hij niet de hele vraag behandelt. Een fietsenwinkel met een heldere pagina over de actieradius van accu’s kan zo bij een brede vraag over e-bikes genoemd worden. Zie ook het begrip query fan-out.

Wat is grounding?

Grounding betekent dat een taalmodel tijdens het beantwoorden informatie uit een externe bron krijgt, zodat het antwoord steunt op actuele feiten in plaats van alleen op trainingskennis. Google omschrijft het in de documentatie over Google-Extended als inhoud uit de Google-zoekindex die op het moment van de vraag aan het model wordt gegeven. Met de robots.txt-token Google-Extended bepaal je of Google je inhoud daarvoor in Gemini-apps mag gebruiken. Volgens Google heeft die instelling geen invloed op je opname of positie in Google Zoeken.

Wat zeggen de platforms zelf?

De platforms beschrijven het proces, niet de precieze weging. Dit is wat de officiële documentatie zegt:

PlatformWanneer zoekt het?Hoe toont het bronnen?Wat is nodig voor toegang?
Google AI Overviews en AI ModeAI Overviews verschijnen alleen als Google ze nuttig vindt; AI Mode is bedoeld voor vragen met meer verdiepingLinks naar ondersteunende pagina’s bij het antwoordPagina geïndexeerd en geschikt voor een tekstfragment; Googlebot niet geblokkeerd
ChatGPTIn de ontwikkelaarsdocumentatie van OpenAI kiest het model zelf of het zoekt, afhankelijk van de vraagBronvermeldingen in de tekst met link en titelOAI-SearchBot toegelaten in robots.txt
PerplexityZoekt volgens Perplexity in realtimeGenummerde bronvermeldingen bij elk antwoordPerplexityBot toegelaten in robots.txt
ClaudeZoekt als een vraag actuele informatie vraagt, of als de gebruiker erom vraagtBronvermeldingen bij het antwoordVolgens Anthropic kan het blokkeren van Claude-SearchBot of Claude-User je zichtbaarheid in zoekantwoorden verminderen

Zo’n bronvermelding kan er in de praktijk zo uitzien:

Waar laat ik in Zwolle mijn e-bike onderhouden?

Voor onderhoud aan een e-bike kun je terecht bij een fietsenmaker met ervaring in elektrische aandrijving. Fietsenwinkel De Spaak in Zwolle noemt op haar site een vaste onderhoudsbeurt voor e-bikes en controleert daarbij ook de accu en de software van de motor. Vraag bij elke werkplaats na welke merken motor ze ondersteunen.

Bronnen: fietsenwinkeldespaak.voorbeeld.nl, voorbeeld.nl

Voorbeeld van een AI-antwoord met bronvermelding. Fietsenwinkel De Spaak is een bedacht bedrijf.

Hoe dit per platform uitpakt, lees je in Hoe word je zichtbaar in ChatGPT? en AI Overviews en AI Mode.

Waarom verschillen antwoorden per vraag, moment en platform?

Er spelen meerdere dingen tegelijk.

  • Andere modellen en technieken. Google schrijft dat AI Overviews en AI Mode verschillende modellen en technieken kunnen gebruiken, waardoor de getoonde links verschillen. Andere platforms gebruiken weer eigen modellen en zoeksystemen.
  • Andere zoekopdrachten. Een kleine wijziging in de vraag levert andere deelzoekopdrachten op, en dus andere bronnen.
  • Veranderende zoekresultaten. Pagina’s komen erbij, verdwijnen of worden bijgewerkt. Een antwoord van vorige week steunde op de resultaten van vorige week.
  • Context van de gebruiker. Anthropic meldt dat Claude een geschatte locatie kan gebruiken voor lokale resultaten. Twee mensen die dezelfde vraag stellen, krijgen dus niet altijd hetzelfde antwoord.

Daarom zegt één antwoord weinig. Wie wil weten hoe vaak zijn bedrijf wordt genoemd, stelt dezelfde vragen herhaaldelijk en legt de antwoorden vast. Hoe je dat opzet, staat in Hoe meet je je zichtbaarheid in AI-antwoorden?

Zo controleer je één klantvraag zelf

  • Schrijf de vraag op zoals een klant hem zou stellen
  • Stel hem op elk platform dat je wilt volgen, op een paar verschillende dagen
  • Noteer per keer de datum, het platform en of de assistent zocht
  • Noteer welke bedrijven en welke bronlinks het antwoord noemt
  • Kijk of de genoemde pagina’s van jou zijn, of van een andere site over jou
  • Klopt er iets niet, bewaar dan het antwoord met datum
Een momentopname, geen meting van hoe vaak je in het algemeen wordt genoemd.

Wat kun je zelf beïnvloeden?

Je hebt geen invloed op de selectieregels, wel op wat de assistent kan vinden:

  1. Toegang. Laat de zoekbots toe van de platforms waar je zichtbaar wilt zijn, en maak een bewuste keuze over trainingsbots.
  2. Leesbare tekst. Zet belangrijke inhoud als tekst in de HTML die je server stuurt. Niet elke bot voert JavaScript uit, dus tekst die pas in de browser verschijnt, kan ontbreken. Meer in Kunnen AI-crawlers je website lezen?
  3. Pagina’s per vraag. Een pagina die één klantvraag duidelijk beantwoordt, past beter bij een deelzoekopdracht dan een pagina die alles een beetje behandelt.
  4. Kloppende informatie. Zorg dat je bedrijfsgegevens op je site en elders gelijk zijn, zodat een assistent geen tegenstrijdige bronnen vindt.

Een garantie op een vermelding bestaat niet: elk platform bepaalt zelf wat het toont. Hoe je dit werk opbouwt, staat in Wat is GEO?

Wat betekent dit voor jouw bedrijf?

Begin bij de bots en de tekst, want dat kun je vandaag controleren. Kijk in je robots.txt of de zoekbots van ChatGPT, Claude en Perplexity je pagina’s mogen ophalen, en open je belangrijkste pagina’s met JavaScript uitgeschakeld om te zien of de tekst er dan nog staat. Een pagina die een bot niet kan ophalen of lezen, kan geen bron worden.

Kies daarna een handvol vragen die klanten echt stellen voordat ze bij je kopen, en kijk of je per vraag een pagina hebt die het antwoord geeft. Ontbreekt die, dan is dat de eerste pagina om te schrijven. Stel dezelfde vragen elke maand opnieuw en vergelijk de antwoorden; dan zie je of er iets verandert, zonder dat één toevallig antwoord je beeld bepaalt.

Bronnen

Verder lezen

FAQ’s

Als ik GPTBot blokkeer, verdwijn ik dan uit ChatGPT?

Nee, niet uit de zoekantwoorden van ChatGPT. GPTBot verzamelt inhoud die OpenAI mogelijk gebruikt om toekomstige modellen te trainen. Voor de zoekfunctie van ChatGPT gebruikt OpenAI een aparte bot, OAI-SearchBot. Volgens OpenAI werken de instellingen in robots.txt onafhankelijk van elkaar: je kunt OAI-SearchBot toelaten en GPTBot blokkeren. Blokkeer je OAI-SearchBot, dan verschijnt je site niet in de zoekantwoorden van ChatGPT.

Waarom noemt een AI-assistent mijn concurrent wel en mij niet?

Dat kan meerdere oorzaken hebben, en geen platform publiceert een volledige weging. Controleer eerst of de zoekbot van dat platform je pagina mag ophalen en of de pagina in de zoekindex staat. Kijk daarna of je een pagina hebt die precies die vraag beantwoordt, met de informatie als tekst in de HTML. Stel de vraag vervolgens een paar keer op verschillende dagen. Eén antwoord kan toeval zijn.

Kan een AI-assistent verouderde informatie over mijn bedrijf geven?

Ja. Een taalmodel dat zonder live zoeken antwoordt, gebruikt wat het tijdens de training leerde, en die kennis stopt op een bepaalde datum. Ook een assistent die wel zoekt, kan een verouderde pagina vinden, bijvoorbeeld een oud bedrijfsprofiel of een vergeten pagina op je eigen site. Houd je eigen website actueel en controleer je vermeldingen op andere sites. Leg foutieve antwoorden vast met datum en platform.

Hoe lang duurt het voordat een wijziging in robots.txt effect heeft?

Bij OpenAI en Perplexity ongeveer een dag. OpenAI schrijft dat wijzigingen voor de zoekfunctie ongeveer 24 uur nodig hebben, Perplexity noemt tot 24 uur. Bij Google hangt het af van wanneer Googlebot de pagina opnieuw ophaalt; Google noemt voor het herverwerken van pagina’s een termijn van dagen tot maanden. Met URL-inspectie in Search Console kun je Google om een nieuwe crawl vragen.