AI-training blokkeren met robots.txt en toch gevonden worden in AI-antwoorden

Een AI-bedrijf haalt je website om twee heel verschillende redenen op. De eerste is training: je tekst gaat in een grote verzameling waarmee een volgend taalmodel wordt gebouwd. Het model leert ervan, maar noemt jou later niet als bron. De IETF-werkgroep die hier een standaard voor maakt, omschrijft het als het gebruiken van content om de geleerde parameters van een generatief AI-model aan te passen (AIPREF-voorstel, 30 oktober 2026).

De tweede reden is zoeken en antwoorden. Iemand vraagt ChatGPT, Claude, Perplexity of Google iets, en het systeem haalt op dat moment pagina's op om een antwoord te onderbouwen. Daar komt wel een bronvermelding of link uit, en dus soms een bezoeker. Google noemt dat grounding.

Voor een ondernemer is dat onderscheid de hele zaak. Training levert je niets op dat je kunt meten. Zoeken levert vermeldingen en klikken op. De meeste AI-bedrijven geven je daarom aparte namen in robots.txt voor die twee doelen, zodat je het een kunt weigeren en het ander kunt toestaan. Alleen bij Google lopen ze deels door elkaar, zoals je hieronder ziet.

OpenAI zegt het in zijn eigen documentatie zonder omwegen: elke instelling staat los van de andere. Je kunt OAI-SearchBot toestaan om in zoekresultaten te verschijnen en GPTBot weigeren om aan te geven dat je content niet voor training van de modellen gebruikt mag worden (OpenAI, Overview of OpenAI Crawlers).

Een site die OAI-SearchBot blokkeert, verschijnt niet in de zoekantwoorden van ChatGPT, al kan hij nog als navigatielink opduiken. OpenAI raadt aan OAI-SearchBot toe te laten als je in de resultaten wilt staan. Na een wijziging in robots.txt duurt het ongeveer 24 uur voordat de zoekfunctie het oppikt.

ChatGPT-User is een geval apart. Die naam gebruikt ChatGPT als een gebruiker zelf vraagt om een pagina te bekijken, of als een Custom GPT iets ophaalt. Omdat een mens daarom vraagt, schrijft OpenAI dat robots.txt-regels "mogelijk niet van toepassing" zijn. Je kunt dat dus niet volledig dichtzetten met robots.txt.

Anthropic, het bedrijf achter Claude, werkt met drie namen. ClaudeBot verzamelt content die kan bijdragen aan training. Claude-SearchBot indexeert voor de zoekresultaten van Claude. Claude-User haalt een pagina op als een gebruiker daarom vraagt (Anthropic, hoe site-eigenaren de crawler blokkeren).

Blokkeer je ClaudeBot, dan gaat je toekomstige content niet in de trainingsdata. Blokkeer je Claude-SearchBot of Claude-User, dan zegt Anthropic er zelf bij dat dat je zichtbaarheid in de zoekantwoorden kan verminderen.

Twee praktische punten uit dezelfde pagina. Anthropic raadt af om bots op IP-adres te blokkeren: dan kan de crawler je robots.txt niet meer lezen en is de opt-out niet betrouwbaar. En robots.txt geldt per subdomein, dus heb je een webshop op shop.jouwbedrijf.nl, dan heeft die zijn eigen bestand nodig.

Anthropic is ook de eerste die het nieuwe gedeelde signaal leest. Volgens de pagina is het bedrijf daar op 30 oktober 2026 mee begonnen, met een uitrol over tijd. Een regel die ClaudeBot bij naam noemt, gaat voor het algemene signaal.

Bij Perplexity is de keuze het eenvoudigst, omdat er geen aparte trainingsbot is. PerplexityBot is bedoeld om websites te tonen en te linken in de zoekresultaten van Perplexity en wordt volgens het bedrijf niet gebruikt om content te verzamelen voor AI-modellen (Perplexity Crawlers).

Wie PerplexityBot blokkeert in de hoop training te voorkomen, verliest dus alleen de vermeldingen in Perplexity. Perplexity-User haalt pagina's op als een gebruiker daarom vraagt en negeert robots.txt volgens Perplexity zelf meestal. Ook hier verwerkt het systeem een wijziging binnen ongeveer 24 uur.

Tot nu toe moest je elk AI-bedrijf apart noemen, en bij elk nieuw bedrijf je robots.txt bijwerken. Het voorstel van 30 oktober 2026 maakt daar een regel van. Je zet een groep in robots.txt met een vaste naam, de policy token __usage_ai-training, en daaronder wat er wel en niet voor training gebruikt mag worden. Dit is het voorbeeld uit het voorstel zelf:

User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/

Dat betekent: geen training op de hele site, behalve op de map /press-kit/. Er komen geen nieuwe commando's bij; het werkt met dezelfde Allow en Disallow die je al kent (draft-kelley-aipref-training-preference-signal-00).

Vier dingen uit de tekst zijn belangrijk voor wie het nu al wil toevoegen:

• Een sterretje telt niet. Een regel onder User-agent: * geldt uitdrukkelijk niet als trainingsvoorkeur. Wie alleen met het sterretje werkt, heeft niets gezegd over training.
• Het is geen crawlverbod. De regel zegt waarvoor je content gebruikt mag worden, niet of een bot mag langskomen. Crawlen beperken doe je met de botnamen.
• Specifiek gaat voor algemeen. Noem je ClaudeBot of Google-Extended bij naam, dan volgen Anthropic en Google die regel en niet de gedeelde. Gebruik je de gedeelde regel en noem je Google-Extended niet, dan leest Google het als een verbod op Google-Extended, met het verlies van de Gemini-bronnen dat daarbij hoort.
• Het is nog een voorstel. Het is een individuele Internet-Draft, door de IETF nog niet aangenomen, geschreven door een medewerker van Anthropic. Hij verloopt op 3 mei 2027 en kan tot die tijd nog veranderen.

Toevoegen kan geen kwaad: software die de naam niet kent, slaat de groep over, net als bij elke onbekende bot. Google wil de regel begin 2027 lezen, Anthropic is al begonnen. OpenAI en Perplexity zeggen er in hun documentatie nog niets over, dus noem GPTBot voorlopig ook bij naam.

Robots.txt is techniek, maar in Europa ook een manier om je rechten voor te behouden. De Nederlandse Auteurswet staat tekst- en datamining toe, tenzij de maker het auteursrecht "uitdrukkelijk op passende wijze" heeft voorbehouden, "zoals door middel van machinaal leesbare middelen bij een online ter beschikking gesteld werk" (Auteurswet, artikel 15o, lid 1). Een Disallow voor een trainingsbot is zo'n machineleesbaar middel.

Aan de kant van de AI-bedrijven sluit de Europese gedragscode voor makers van AI-modellen daarop aan. Wie hem ondertekent, belooft crawlers te gebruiken die robots.txt lezen en volgen volgens de standaard RFC 9309, en elke latere versie waarvan de IETF laat zien dat die werkt (gedragscode, hoofdstuk Auteursrecht, maatregel 1.3). Google verwijst in zijn aankondiging naar precies die code. Wat de AI Act verder van een gewoon bedrijf vraagt, staat in ons artikel over de AI Act voor het mkb.

Er zit een grens aan. Robots.txt is een verzoek: een bot die zich er niet aan houdt, wordt niet tegengehouden. Ook de Content Signals die Cloudflare in 2025 voorstelde, met de regel Content-Signal: ai-train=no, zijn een verklaring en geen slot (Cloudflare, 24 september 2025). In de crawlerdocumentatie van Google, OpenAI, Anthropic en Perplexity die we lazen, wordt die regel niet genoemd. Gebruik hem gerust als extra, maar niet in plaats van de botnamen.

Op theseo.nl staat alles open. Onze robots.txt laat GPTBot, ClaudeBot, PerplexityBot en Google-Extended uitdrukkelijk toe en zegt met een Content Signal dat zoeken, AI-invoer en training mogen. Dat past bij ons werk: wij willen dat AI-systemen ons kennen en noemen. In drie maanden telde Search Console bij ons 1.920 vertoningen in generatieve AI-functies (eigen meting, export van september 2026). Die zouden we met keuze C opgeven.

Voor een fotograaf, een schrijver of een webshop met eigen producttekst kan de afweging anders uitvallen. Daar is het werk zelf het product, en dan is keuze B vaak verstandiger.

Wil je zien welke AI-bots je site echt bezoeken voordat je kiest, dan houdt de gratis AI Crawler Log plugin voor WordPress dat bij. Een llms.txt is iets anders: dat bestand wijst AI-systemen je beste pagina's aan, maar regelt geen training. Wat het wel en niet doet lees je in onze uitleg over llms.txt.