Les bots d'IA respectent-ils robots.txt ? Cloudflare a commencé à mesurer, et comment vérifier vos propres journaux

Ce que Cloudflare a annoncé

Le billet, daté du 16 octobre 2026, indique que Cloudflare met en place un système pour évaluer en continu si les Verified bots (bots vérifiés) respectent les préférences des sites. Le système est utilisé en interne pour l'instant, et Cloudflare prévoit de le mettre à la disposition de tous ses clients, qui choisiront le seuil de confiance déterminant la façon dont le trafic des Verified bots est traité.
robots.txt est présenté comme le principal moyen de communiquer les préférences des propriétaires de sites. Des violations isolées peuvent ne pas compter, et le système recherche des schémas répétés, conformément à la RFC 9309.
Pour HTTP 429, le système vérifie si un bot ralentit, fait une pause ou garde le même rythme après avoir reçu la réponse. Ralentir ou faire une pause augmente la confiance, et ignorer le signal de façon répétée la diminue.
Le résultat est une bande de confiance, une plage qui montre avec quelle constance un bot respecte les préférences du site. Cloudflare indique que les scores seront partagés publiquement sur Radar à l'avenir, et le billet ne donne ni échelle numérique ni seuils.
Le billet indique que Perplexity a été retiré de la liste des Verified bots en 2025 après avoir, selon les allégations, accédé à des ressources dont l'exploration avait été refusée et tenté de contourner les blocages.

Un projet pilote connexe avec OpenAI

Le 15 octobre 2026, Cloudflare a décrit un projet pilote de recherche avec OpenAI, commencé en juillet 2026 avec une cohorte d'environ 1 % du réseau de Cloudflare. Cloudflare fournit des signaux au robot d'exploration de recherche d'OpenAI, et OpenAI évalue et classe lui-même les pages.
Le billet indique que cette recherche utilise des métadonnées sur le web pour la recherche et la découverte, plutôt que de partager le contenu des pages pour l'entraînement de modèles, et qu'un signal concernant une page n'accorde pas l'autorisation d'y accéder.
Il renvoie vers AI Crawl Control de Cloudflare pour gérer la façon dont les systèmes d'IA accèdent à un site.

Ce que robots.txt peut et ne peut pas faire

Ce n'est pas un contrôle d'accès. La RFC 9309 indique que les règles ne constituent pas une forme d'autorisation d'accès, et que n'importe qui peut toujours demander une URL interdite.
Il contrôle l'exploration, pas l'indexation. Google indique qu'une page bloquée par robots.txt peut quand même apparaître dans les résultats de recherche, sans description.
Un /robots.txt qui répond avec un statut 4xx est considéré comme indisponible, de sorte qu'un robot d'exploration peut accéder à n'importe quelle ressource. Un statut 5xx, ou un serveur injoignable, est considéré comme inaccessible, de sorte qu'un robot d'exploration doit supposer que tout est interdit.
Les agents de récupération qui agissent pour le compte d'une personne constituent un cas particulier. OpenAI indique que, comme les actions de ChatGPT-User sont initiées par un utilisateur, les règles de robots.txt peuvent ne pas s'appliquer. Perplexity indique que Perplexity-User ignore généralement les règles de robots.txt parce qu'un utilisateur a demandé la récupération. Meta indique que meta-externalfetcher peut contourner les règles de robots.txt parce qu'il effectue des récupérations demandées par un utilisateur.

Voir quels robots d'IA visitent réellement votre site

Votre journal d'accès montre ce qui arrive réellement. L'analyseur ci-dessous lit un journal nginx ou Apache dans votre navigateur et compte les requêtes des robots d'exploration de l'IA par robot et par finalité, avec les adresses IP uniques, les codes de statut, l'indication que le robot a récupéré robots.txt ou non, et les chemins les plus demandés. Comparez, pour chaque robot, s'il a récupéré robots.txt et quels codes de statut il a reçus, y compris 429.

Un User-Agent n'est qu'une déclaration, donc les comptages correspondent à des requêtes qui se présentent comme venant de ce robot. Pour vérifier qu'une requête est authentique, comparez son adresse IP source avec les plages que l'opérateur publie. L'outil ne recherche pas les adresses IP.

Essayer: AI Bot Log Analyzer

Journal d'accès

Choisir un fichier

Collez un journal pour voir quels robots d'IA sont passés.

Un User-Agent est une déclaration, pas une preuve. N'importe qui peut envoyer la même chaîne.

Pour vérifier qu'une requête est authentique, comparez son adresse IP source aux plages que publie l'opérateur. Cet outil ne consulte pas les adresses IP.

Google-Extended et Applebot-Extended n'apparaissent jamais dans les journaux : ce sont des noms de contrôle pour le robots.txt, et leurs requêtes viennent de Googlebot et d'Applebot.

Lit le format combined d'Apache et de nginx, le JSON ligne par ligne avec des noms de champs courants, et les listes de chaînes User-Agent.

La liste des robots a été vérifiée dans la documentation de chaque opérateur le 2026-10-15.

Tout s'exécute dans votre navigateur. Le journal n'est pas envoyé.

Rédiger vos préférences

Les entreprises d'IA exploitent plusieurs types de robots d'exploration : certains collectent des données d'entraînement, d'autres construisent un index pour la recherche par IA, et d'autres récupèrent une page quand une personne le demande. Le générateur ci-dessous les distingue, de sorte que vous pouvez interdire l'entraînement sans disparaître des résultats de recherche par IA, et il construit un robots.txt à partir des noms de robots que chaque opérateur documente.