~/tools / AI Bot Log Analyzer
AI Bot Log Analyzer — Comptez les visites des robots d'IA dans vos journaux
Collez un journal d'accès de serveur web pour voir quels robots d'IA sont passés, ce qu'ils ont récupéré et comment votre serveur a répondu. Fonctionne avec les journaux nginx et Apache et avec le JSON ligne par ligne. Rien ne quitte votre navigateur.
Collez un journal pour voir quels robots d'IA sont passés.
Un User-Agent est une déclaration, pas une preuve. N'importe qui peut envoyer la même chaîne.
Pour vérifier qu'une requête est authentique, comparez son adresse IP source aux plages que publie l'opérateur. Cet outil ne consulte pas les adresses IP.
Google-Extended et Applebot-Extended n'apparaissent jamais dans les journaux : ce sont des noms de contrôle pour le robots.txt, et leurs requêtes viennent de Googlebot et d'Applebot.
Lit le format combined d'Apache et de nginx, le JSON ligne par ligne avec des noms de champs courants, et les listes de chaînes User-Agent.
La liste des robots a été vérifiée dans la documentation de chaque opérateur le 2026-10-15.
Tout s'exécute dans votre navigateur. Le journal n'est pas envoyé.
Les entreprises d'IA exploitent plusieurs types de robots : les uns collectent des données d'entraînement, les autres construisent un index pour la recherche IA, d'autres encore chargent une page quand une personne le demande. Le robots.txt peut les traiter différemment, mais seuls vos journaux montrent ce qui arrive réellement. Cet outil lit un journal d'accès, repère les requêtes dont le User-Agent désigne un robot de la liste de l'AI Crawler robots.txt Generator, et les compte par robot et par finalité, avec les adresses IP distinctes, les codes de statut, la récupération ou non du robots.txt et les chemins les plus demandés. Un User-Agent n'est qu'une déclaration : les chiffres sont donc des requêtes qui affirment être ce robot.
Cas d'usage
- Vérifier si les robots que vous avez bloqués dans le robots.txt continuent de passer
- Contrôler que les robots de recherche IA peuvent récupérer vos pages sans erreur
- Repérer un User-Agent qui ressemble à un robot sans figurer dans la liste IA
Utilisation
- Collez des lignes de journal, ou choisissez un fichier. Le fichier est lu dans votre navigateur.
- Lisez le tableau : une ligne par robot, avec sa finalité, ses requêtes, ses IP distinctes et ses codes de statut.
- Parcourez les autres User-Agents ressemblant à des robots pour y chercher des noms inconnus.
Trois types de robots d'IA
| Finalité | Ce qu'il fait | Exemples | robots.txt |
|---|---|---|---|
| Entraînement | Collecte du contenu web pour entraîner des modèles | GPTBot, ClaudeBot, meta-externalagent, CCBot | Les opérateurs disent le respecter |
| Recherche IA | Construit un index servant à répondre aux questions | OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer | Les opérateurs disent le respecter |
| Déclenché par l'utilisateur | Récupère une page quand une personne le demande | ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher | OpenAI, Perplexity et Meta indiquent qu'il peut ne pas s'appliquer ; Anthropic indique que Claude-User le respecte |
Bloquer un type ne bloque pas les autres. Par exemple, arrêter un robot d'entraînement ne vous retire pas de la recherche IA, qui a son propre robot.
Lire le tableau
- Requêtes et IP distinctes : beaucoup de requêtes venant d'une seule adresse et quelques-unes venant de nombreuses adresses n'ont pas la même signification ; regardez donc les deux.
- Codes de statut : pour un robot de recherche, des réponses 4xx et 5xx signifient que vos pages n'ont pas pu être récupérées, et qu'elles ne peuvent donc pas apparaître dans les réponses.
- Colonne robots.txt : un robot qui récupère /robots.txt lit au moins vos règles. La RFC 9309 permet aux robots de mettre le fichier en cache mais dit qu'ils ne devraient pas utiliser une copie de plus de 24 heures, sauf s'il est inaccessible : un robot qui ne le demande jamais ignore peut-être les règles.
- Autres User-Agents ressemblant à des robots : des noms qui ne figurent pas dans la liste IA. C'est un endroit où chercher des robots dont vous n'avez jamais entendu parler.
Un User-Agent est une déclaration
N'importe qui peut envoyer la même chaîne User-Agent : un décompte par nom est donc un décompte de requêtes qui affirment être ce robot. Pour en vérifier une, comparez son adresse IP source avec ce que publie l'opérateur.
- OpenAI, Perplexity, Anthropic et Common Crawl publient des plages d'IP pour leurs robots. Anthropic précise que bloquer par IP peut ne pas garantir votre exclusion et recommande le robots.txt.
- Google décrit deux vérifications : une recherche DNS inverse de l'IP suivie d'une recherche directe qui renvoie la même adresse, ou une correspondance avec ses listes d'IP publiées.
- Apple publie des préfixes d'IP pour Applebot et décrit aussi des vérifications par DNS inverse.
- La documentation du robot de Meta ne liste pas de plages d'IP et dit d'autoriser les chaînes User-Agent ou les adresses IP.
Ce qu'un journal ne peut pas montrer
- Google-Extended n'a pas de chaîne User-Agent propre, et Applebot-Extended n'explore pas les pages web. Les deux ne contrôlent que l'usage des données collectées par Googlebot et Applebot, et n'apparaissent donc jamais comme noms dans un journal.
- Les requêtes servies par le cache d'un CDN, ou arrêtées avant votre serveur, manquent dans le journal de votre serveur d'origine.
Sources (vérifiées le 2026-10-23): OpenAI: Overview of OpenAI crawlers / Anthropic: Does Anthropic crawl data from the web? / Perplexity: Perplexity crawlers / Meta: Web crawlers / Common Crawl: CCBot / Apple: About Applebot / Google: Google's common crawlers / Google: Verifying Googlebot / RFC 9309: Robots Exclusion Protocol
FAQ
Quels formats de journal sont pris en charge ?
Le format combined d'Apache et de nginx, un objet JSON par ligne avec des noms de champs courants comme http_user_agent, et les simples listes de chaînes User-Agent, une par ligne. Les lignes illisibles sont comptées et signalées.
Une correspondance prouve-t-elle que la visite vient bien de cette entreprise ?
Non. N'importe qui peut définir un User-Agent : une requête qui se dit GPTBot peut venir d'ailleurs. Plusieurs opérateurs publient les plages d'IP de leurs robots, par exemple OpenAI, Perplexity, Anthropic et Common Crawl, ce qui permet de vérifier l'adresse source d'une requête. La documentation du robot de Meta n'en liste aucune. Cet outil ne vérifie pas les adresses IP.
Pourquoi Google-Extended et Applebot-Extended n'apparaissent-ils pas ?
Ce sont deux noms de contrôle pour le robots.txt, pas des robots. Google indique que Google-Extended n'a pas de chaîne User-Agent distincte, et Apple indique qu'Applebot-Extended n'explore pas les pages web. Les requêtes viennent de Googlebot et d'Applebot, et on ne peut donc pas les distinguer dans un journal.
Que signifient les finalités ?
Entraînement : collecte de données pour entraîner des modèles. Recherche : construction d'un index pour les réponses de la recherche IA. Utilisateur : récupération déclenchée par la demande d'une personne ; certains opérateurs précisent que ces récupérations peuvent ne pas suivre le robots.txt.
Pourquoi mon total est-il plus bas que dans un autre outil ?
Un journal ne contient que ce qui a atteint votre serveur. Les requêtes servies par le cache d'un CDN, ou bloquées avant d'arriver, peuvent ne jamais figurer dans le journal de votre serveur d'origine.
Le journal est-il envoyé quelque part ?
Non. La lecture et le comptage se font dans votre navigateur. Les lignes au-delà de 200 000 ne sont pas comptées, pour que la page reste réactive.