Cloudflare AI Crawl Control : utile ?

Oui, indispensable pour qui héberge sur Cloudflare. Service gratuit lancé en 2024, il visualise en temps réel les bots IA qui crawlent votre site, par bot, par pays, par chemin URL. C'est le seul outil gratuit qui chiffre l'activité bot précisément, sans bricolage de logs.

Cloudflare AI Crawl Control : utile, côté implémentation ?

Cloudflare AI Crawl Control a été lancé en bêta fin 2024 et passé en disponibilité générale en 2025. C'est aujourd'hui le seul tableau de bord grand public qui permet de voir, en temps réel, quels crawlers IA visitent un site et à quelle fréquence, sans intégration custom. Trois fonctions principales : observation, contrôle, monétisation.

Fonction 1, Observation détaillée. Le dashboard liste les requêtes par user-agent connu : GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot, Claude-User, PerplexityBot, Google-Extended, CCBot, Bytespider et plus encore. Il indique le respect (ou non) de votre robots.txt : quels bots tentent d'accéder à des sections bloquées, à quelle fréquence, depuis quels ranges IP. Selon les données Cloudflare, le trafic crawler IA représente entre 5 et 15 % du trafic total d'un site éditorial premium en 2026.

Fonction 2, Trois actions par crawler. Pour chaque crawler IA identifié, l'administrateur a trois choix : autoriser, facturer, bloquer. Autoriser est la valeur par défaut conseillée pour les crawlers de retrieval temps réel (OAI-SearchBot, PerplexityBot, Claude-SearchBot), sans cela, vous disparaissez des citations LLM. Bloquer est cohérent pour les crawlers d'entraînement si vous voulez retirer votre contenu du prochain corpus. Facturer est l'option pay-per-crawl, déployée par Cloudflare en 2025 et étendue à tous les clients payants en 2026.

Fonction 3, Pay-per-crawl (HTTP 402). Cloudflare a généralisé en 2026 le pay-per-crawl : votre origin retourne un code HTTP 402 (Payment Required) au crawler IA, et Cloudflare facture l'opérateur du bot pour chaque crawl successful. Le mécanisme reste expérimental, l'adoption côté éditeurs est minoritaire, mais il pose la première brique d'un marché potentiel de la donnée d'entraînement. C'est surtout pertinent pour les éditeurs presse à fort volume.

Verdict pratique. « Pour toute marque qui prend le GEO au sérieux, AI Crawl Control est devenu une baseline obligatoire en 2026, exactement comme Search Console l'était en SEO », affirme Lorenzo Eeman, fondateur de PROEMA. Coût zéro (inclus dans tous les plans Cloudflare payants), bénéfice immédiat : vous arrêtez d'opérer à l'aveugle sur les bots IA. Sur le portefeuille GEO Rocket, le dashboard est l'une des sources de mesure mensuelle, croisée avec le suivi citation rate via panel verticalisé.