Welke soorten AI-bezoekers bestaan er?

Er bezoeken grofweg drie soorten AI-bots je website, en het verschil bepaalt of je er klanten mee wint of alleen serverbelasting krijgt. De eerste groep haalt je pagina’s op om AI-antwoorden mee te vullen en stuurt bezoekers terug, de tweede traint er taalmodellen mee, de derde levert je niets. Hieronder per groep welke bots het zijn, te herkennen aan hun user-agent, en of je ze wilt toelaten.

Groep 1: de zoek-bots die klanten opleveren

Dit zijn de bezoekers die je vindbaar maken in AI-antwoorden. Zet ze open, zeker als je sector van vindbaarheid leeft.

• OAI-SearchBot en ChatGPT-User (OpenAI): de eerste bouwt de zoekindex achter ChatGPT search, de tweede haalt live een pagina op wanneer iemand er in ChatGPT naar vraagt.
• PerplexityBot en Perplexity-User: index en live-ophaal voor Perplexity.
• Googlebot plus Google-Extended: Googlebot indexeert je site voor Google Search en de AI Overviews die daarbovenop draaien; Google-Extended bepaalt of Gemini je content mag gebruiken.
• Bingbot: voedt de Bing-index waar Microsoft Copilot en ChatGPT search op leunen. Onmisbaar als je in Copilot wilt verschijnen.
• Claude-SearchBot en Claude-User (Anthropic): voor de zoek- en antwoordfuncties van Claude.

Groep 2: de training-crawlers

Deze bots halen je content op om er taalmodellen mee te trainen. Voor de een prima, want het vergroot de kans dat een model je later kent; voor de ander ongewenst, omdat je werk vrij wordt geoogst.

• GPTBot (OpenAI) traint toekomstige modellen en is los te regelen van de zoek-bots hierboven.
• ClaudeBot en anthropic-ai (Anthropic), CCBot (Common Crawl, de open dataset waar veel modellen op leunen), Applebot-Extended (Apple Intelligence) en Meta-ExternalAgent (Meta AI) zijn allemaal training.

Let op: Google-Extended zit met een been in deze groep, want datzelfde signaal regelt of Gemini je content mag gebruiken.

Groep 3: de rommelbots

Bytespider (ByteDance, het bedrijf achter TikTok) staat bekend als agressief en negeert soms afspraken. Daarnaast is er een reeks scraper- en aggregator-bots zoals Diffbot en ImagesiftBot die je content oogsten zonder er iets voor terug te doen. Deze groep levert je geen klanten en alleen serverbelasting. Wegzetten.

Hoe je kiest, per type bedrijf

De juiste mix hangt af van wat je publiceert en voor wie:

• Lokaal bedrijf of horeca: maximaal open voor groep 1, want je wilt genoemd worden als iemand ChatGPT vraagt waar je in de buurt kunt eten. Training is minder relevant.
• Publisher of contentmaker: groep 1 open, groep 2 blokkeren, zodat je werk niet gratis wordt geoogst. GPTBot en Applebot-Extended zet je daarvoor los uit.
• Dienstverlener met vakinhoud: weeg per document af. Je algemene pagina’s open voor vindbaarheid, je diepste whitepapers eventueel dicht voor training.

Waar het in de praktijk misgaat

We zien twee uitersten. Of alles staat wagenwijd open, inclusief de rommelbots. Of er staat een te brede blokkade, bijvoorbeeld een kale Disallow: / voor alles wat op een bot lijkt, waardoor je per ongeluk ook OAI-SearchBot en PerplexityBot buitensluit en dus onzichtbaar wordt in AI-antwoorden. Beide kosten je zichtbaarheid of serverruimte.

Het regelen gebeurt per user-agent in je robots.txt. Er is geen universele configuratie die voor elke site klopt: het hangt af van wat je publiceert en welke afweging je maakt tussen vindbaarheid en bescherming van je werk. Bij Citeerbaar brengen we als GEO bureau in kaart welke bots je site bezoeken, stellen de juiste toegang per groep in en zetten dat live.