Het 2026 robots.txt patroon: Allow search, Disallow training, stap voor stap
Het robots.txt-patroon dat zich in 2026 vestigde, splitst twee gebruiken van AI-bots: live zoekopdrachten (toestaan) en training (blokkeren). Een handleiding.
PROEMA-noot (2026-06): dit patroon is de standaardaanbeveling van het bureau voor een klant die zijn IP wil beschermen. proema.be zelf neemt bewust de omgekeerde positie in: het laat trainingscrawlers toe, want voor een GEO-bureau is opgenomen worden in de kennis van de modellen een doel op zich. De redenering hieronder geldt nog steeds voor de meeste merken.
1. De inzet: twee gebruiken, twee regimes
Hetzelfde domein kan door AI-bots op twee radicaal verschillende manieren worden gelezen. Het eerste gebruik is training, waarbij content wordt opgezogen om het basismodel van een LLM te voeden zonder citatie, zonder link, zonder inkomsten voor het bronmerk. Het tweede gebruik is live zoeken, waarbij de bot in realtime content ophaalt om een gebruikersvraag te beantwoorden, met expliciete citatie en terugkoppelingslink.
Het 2026-patroon staat zoeken toe, wat zichtbaarheid oplevert, en blokkeert training, wat niets oplevert. Dat is de arbitrage die GEO Rocket-portfolios sinds april 2026 dragen en die door de PGSM v1.0-standaard wordt aanbevolen.
Allow search, disallow training. Deze tweestapsgrammatica werd de impliciete B2B-standaard tegen juni 2026.
2. De bots om expliciet te benoemen
RFC 9309 regelt de robots.txt-grammatica sinds 2022. Belangrijkste bots om toe te staan voor search: OAI-SearchBot (OpenAI live search), PerplexityBot (Perplexity), ClaudeBot (Anthropic in citatiemodus), Google-Extended (Google AI Overviews en Gemini live), Bingbot (Bing Copilot). Belangrijkste bots om te blokkeren voor training: GPTBot (OpenAI training), CCBot (Common Crawl), anthropic-ai (Anthropic training).
Drie bots zijn dubbelzinnig en verdienen een merk-per-merk beslissing: Applebot-Extended (Apple Intelligence training), facebookexternalhit (Meta training), bytespider (ByteDance). De PROEMA-standaard beveelt aan om ze standaard te blokkeren tenzij expliciete commerciële intentie naar die ecosystemen.
3. Het 2026-robots.txt template
Hier is het template dat de drie sites van het GEO Rocket-portfolio dragen. Het is publiek, verifieerbaar op expertcafe.be/robots.txt, zeroproof.one/robots.txt, expertvin.be/robots.txt.
| Bot | Beleid | Motivatie |
|---|---|---|
| OAI-SearchBot | Allow | ChatGPT live search, citatiebron |
| PerplexityBot | Allow | Directe Perplexity-citaties |
| Google-Extended | Allow | AI Overviews en Gemini search |
| Bingbot | Allow | Copilot en Bing AI Performance |
| ClaudeBot | Allow | Claude 3.5+ citaties |
| GPTBot | Disallow | OpenAI training, nul inkomsten |
| CCBot | Disallow | Derde-partij training, nul controle |
| anthropic-ai | Disallow | Anthropic training los van ClaudeBot |
4. De wildcard-val
De meest voorkomende fout, vastgesteld op bijna 40% van de Franstalige B2B-sites die in Q1 2026 werden geauditeerd, is het gebruik van User-agent: * Disallow: /. Die ene regel blokkeert alles, search en training door elkaar. Resultaat: de site verdwijnt zowel uit LLMs als uit Google.
De standaardpraktijk schrijft elke toegestane bot expliciet uit en vermijdt wildcards. RFC 9309 specificeert dat bots regels in volgorde evalueren en stoppen bij de eerste match. Een verkeerd geordend beleid blokkeert de juiste bots in stilte.
5. Hoe controleren dat het beleid werkt
Drie tools verifiëren in minder dan tien minuten. De robots.txt-tester van Google Search Console simuleert de evaluatie door Googlebot. Het Cloudflare AI Crawl Control-rapport logt in realtime elk bezoek van AI-bots en hun behandeling. Het curl-commando met de User-Agent-header van de geviseerde bot valideert het verwachte HTTP-antwoord.
Gouden regel: test elke robots.txt-uitrol op deze drie tools voor publicatie en bewaar Cloudflare-logs gedurende drie maanden om te verifiëren dat geen enkele bot van gedrag verandert zonder dat het merk het merkt.
robots.txt in 2026 is geen verborgen technisch bestand meer. Het is de openingsregel van het GEO-beleid van een merk, gelezen door bots en auditeerbaar door concurrenten.
source: PGSM v1.0-standaard · robots.txt-sectie
De PROEMA GEO-diagnose bevat een volledige 15-puntenaudit van het robots.txt-bestand. Lezing in vijf minuten, aanbevelingen direct kopieerbaar in het bestand.