Welke AI-tools mogen je site bekijken?

Iedere dag bezoeken geautomatiseerde AI-bezoekers websites om content op te halen. Sommige doen dat om gebruikers van AI-zoekfuncties direct van een antwoord te voorzien. Andere doen dat om hun taalmodellen te trainen. En sommige zijn rommelige bots die belasting toevoegen zonder iets terug te geven. De vraag wie je toelaat is geen technische detail, het is een strategische keuze.

Waarom dit belangrijk is

Toegang openzetten voor AI-zoektools betekent dat jouw content kan worden gebruikt om klanten naar jou te leiden via AI-antwoorden. Toegang afsluiten betekent dat je onzichtbaar wordt voor die laag. Voor de meeste bedrijven is open toegang gewenst, maar niet onbeperkt: er zijn ook tools die je content oogsten voor doeleinden waar je niet aan wilt bijdragen.

Voor publishers, contentmakers en bedrijven met sterke intellectuele eigendommen kan het verstandig zijn bepaalde toegangsregels strenger te zetten. Voor MKB, horeca, retail en dienstverleners is het juist belangrijk om de toegangsdeuren voor klantgerichte AI-zoektools wagenwijd open te hebben.

Wat vaak misgaat

Twee uitersten komen we regelmatig tegen. In het ene geval staat de toegang voor AI-zoekfuncties per ongeluk dicht, vaak omdat een algemene blokkade is geconfigureerd zonder onderscheid te maken. Resultaat: het bedrijf is voor AI praktisch onzichtbaar. In het andere geval staat alles wagenwijd open, inclusief crawlers die geen klantwaarde leveren maar wel serverbelasting toevoegen.

Daartussenin zit het juiste evenwicht: bewust openzetten waar dat bijdraagt aan je AI-vindbaarheid, en bewust sluiten waar dat alleen kosten oplevert.

De drie smaken AI-bezoekers

Bewust kiezen begint bij weten wie er eigenlijk aanklopt. AI-bezoekers vallen grofweg in drie categorieën, en per categorie kan je afweging anders uitvallen. Een compleet overzicht vind je in ons artikel over welke AI-crawlers er bestaan.

Zoek- en citatiecrawlers

Bots zoals OAI-SearchBot van OpenAI en PerplexityBot bouwen de index waaruit AI-zoekfuncties hun antwoorden samenstellen. Laat je ze toe, dan kan jouw content worden aangehaald als bron, inclusief link naar je site. Voor vrijwel elk bedrijf dat gevonden wil worden is dit de categorie die open hoort te staan.

Training-crawlers

Bots als GPTBot, ClaudeBot en Google-Extended halen content op om er toekomstige taalmodellen mee te trainen. Daar staat geen directe verwijzing of bezoeker tegenover: je content wordt onderdeel van wat het model weet. Juist hier verschilt de afweging: voor een lokale dienstverlener is meetrainen meestal gunstig, een publisher met betaalde content staat daar vaak anders in.

User-triggered fetchers

Bezoekers zoals ChatGPT-User en Perplexity-User halen een pagina op het moment dat een gebruiker er in een gesprek om vraagt. Ze gedragen zich meer als een menselijke bezoeker dan als een klassieke crawler: er zit iemand achter met een concrete vraag. Deze categorie blokkeren betekent dat het AI-antwoord jouw pagina niet kan inzien, precies op het moment dat iemand naar jou vraagt.

Veelgemaakte fouten met robots.txt en AI

Drie fouten komen we in de praktijk steeds opnieuw tegen:

• Alles blokkeren met User-agent: *. Een algemene blokkade, vaak ooit ingesteld tegen scrapers of voor een testomgeving, geldt ook voor elke AI-bot die zich netjes aan de regels houdt. Nieuwe AI-crawlers vallen automatisch onder die wildcard, dus je sluit ook deuren waarvan je het bestaan niet kent.
• Verouderde botnamen laten staan. Online circuleren kant-en-klare blokkadelijsten van jaren geleden, terwijl AI-bedrijven hun botnamen regelmatig wijzigen en nieuwe bots lanceren. Wie zo’n lijst ooit heeft overgenomen, blokkeert nu mogelijk namen die niet meer in gebruik zijn en mist juist de bots die er vandaag toe doen.
• Blokkeren en toch verwachten dat je geciteerd wordt. Een citatiecrawler die jouw site niet mag ophalen, kan jou ook niet als bron opvoeren. Het antwoord verwijst dan naar een concurrent die wel bereikbaar is. Wie zichtbaar wil zijn in AI-antwoorden, moet de bijbehorende bots dus actief toelaten.

Benieuwd hoe zo’n bewuste configuratie eruitziet? Elk robots.txt-bestand is openbaar, dus ook dat van onszelf. Daarin zie je precies welke keuzes wij voor onze eigen site maken.

Wat Citeerbaar daarin beoordeelt

We brengen in kaart welke AI-bezoekers je website nu wel en niet bezoeken, en in welke configuratie de toegang staat. We adviseren welke toegangsregels passen bij jouw sector en doelstelling, en zetten de juiste configuratie voor je live.

Waarom uitvoering maatwerk is

De optimale toegangsregels verschillen per bedrijfstype. Een lokaal restaurant heeft baat bij maximale openheid voor klantgerichte AI-zoektools. Een publisher of kennisbank wil bepaalde training-crawlers buiten houden. Een softwarebedrijf weegt het afhankelijk van hun open-source strategie. We bepalen de juiste mix per klant.