Waarom blokkeert het PROEMA robots.txt-patroon 2026 GPTBot niet?

Omdat OpenAI twee user-agents gebruikt voor twee doelen: GPTBot haalt data op om modellen te trainen, OAI-SearchBot haalt data op om live te antwoorden in ChatGPT-Search. Blokkeer de eerste om je IP te beschermen, sta de tweede toe om citeerbaar te blijven.

Waarom blokkeert het PROEMA robots.txt-patroon 2026 GPTBot niet, voor een merk?

OpenAI publiceerde de splitsing al in augustus 2023: GPTBot = trainingsdata, OAI-SearchBot = live retrieval voor ChatGPT Search, ChatGPT-User = agentische plugin-uitvoering (bron: developers.openai.com/api/docs/bots). Anthropic volgt dezelfde logica: ClaudeBot (training) tegenover Claude-Web / Claude-User (retrieval, bron: support.anthropic.com). Google scheidde Google-Extended (training Gemini) van Googlebot (search). "De splitsing tussen trainingsbots en retrievalbots is geen symbool: ze is expliciet gedocumenteerd en wordt volgens onafhankelijke checks ook gerespecteerd", stelt Lorenzo Eeman, oprichter van PROEMA.

Het strategische compromis van het patroon 2026

Strategisch gevolg: blokkeer je alle AI-bots, dan verdwijn je uit ChatGPT-Search, Perplexity, Claude. Sta je alles toe, dan voer je gratis de training van je concurrenten. Het PROEMA-patroon 2026 (Allow: OAI-SearchBot, PerplexityBot, Bingbot, Applebot, MistralAI-User ; Disallow: GPTBot, ClaudeBot, Google-Extended, anthropic-ai) is de middenweg: maximale zichtbaarheid in retrieval, minimaal trainingslek. Doctrine die door een groeiend aandeel Europese premium media wordt gevolgd, FT, NYT, Le Monde, Reuters hebben in 2024-2025 publiek vergelijkbare configuraties beschreven.

Valkuilen om te vermijden

Eerste valkuil: Bingbot-crawl wordt gedeeld met Copilot (Microsoft bevestigde in 2024 dat Copilot de Bing-index in zijn backend gebruikt), hem blokkeren = uit Microsoft Search én Copilot tegelijk. Tweede valkuil: opkomende user-agents vergeten (Applebot-Extended voor Apple Intelligence, MistralAI-User voor Le Chat, Meta-ExternalAgent voor Meta AI), de bijgewerkte lijst telt in 2026 24+ identificeerbare AI-user-agents volgens AppearOnAI- en NoHacks-tracking. Derde valkuil: een slecht geformatteerde robots.txt (spatie na :, inconsistente hoofdletters in agentnamen), sommige strikte crawlers negeren stilletjes de directive. PROEMA levert het patroon 2026 in al zijn Optim-pakketten, met maandelijkse audit.