~/tools / AI Bot Log Analyzer
AI Bot Log Analyzer — Conte as visitas de rastreadores de IA nos seus logs
Cole um log de acesso do servidor web para ver quais rastreadores de IA o visitaram, o que buscaram e como o seu servidor respondeu. Funciona com logs do nginx e do Apache e com linhas JSON. Nada sai do seu navegador.
Cole um log para ver quais rastreadores de IA o visitaram.
Um User-Agent é uma declaração, não uma prova. Qualquer pessoa pode enviar a mesma string.
Para conferir se uma requisição é real, compare o endereço IP de origem com as faixas que o operador publica. Esta ferramenta não consulta endereços IP.
Google-Extended e Applebot-Extended nunca aparecem nos logs: são nomes de controle do robots.txt, e suas requisições vêm do Googlebot e do Applebot.
Lê o formato combined do Apache e do nginx, linhas JSON com nomes de campo comuns e listas de strings User-Agent.
A lista de rastreadores foi conferida com a documentação de cada operador em 2026-10-15.
Tudo roda no seu navegador. O log não é enviado.
As empresas de IA operam vários tipos de rastreador: alguns coletam dados de treinamento, outros montam um índice para a busca com IA e outros carregam uma página quando uma pessoa pede. O robots.txt pode tratá-los de forma diferente, mas só os seus logs mostram o que de fato chega. Esta ferramenta lê um log de acesso, encontra as requisições cujo User-Agent nomeia um rastreador da lista do AI Crawler robots.txt Generator e as conta por rastreador e por finalidade, com endereços IP únicos, códigos de status, se buscaram o robots.txt e os caminhos mais requisitados. Um User-Agent é apenas uma declaração, então as contagens são de requisições que dizem ser aquele rastreador.
Casos de uso
- Ver se os rastreadores que você bloqueou no robots.txt continuam chegando
- Conferir se os rastreadores de busca com IA conseguem buscar suas páginas sem erros
- Identificar um User-Agent com cara de bot que não está na lista de IA
Como usar
- Cole linhas do log ou escolha um arquivo de log. O arquivo é lido no seu navegador.
- Leia a tabela: uma linha por rastreador, com a finalidade, as requisições, os IPs únicos e os códigos de status.
- Percorra os outros User-Agents com cara de bot em busca de nomes que você não conhece.
Três tipos de rastreador de IA
| Finalidade | O que faz | Exemplos | robots.txt |
|---|---|---|---|
| Treinamento | Coleta conteúdo da web para treinar modelos | GPTBot, ClaudeBot, meta-externalagent, CCBot | Os operadores dizem que o seguem |
| Busca com IA | Monta um índice usado para responder a perguntas | OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer | Os operadores dizem que o seguem |
| Acionado por usuário | Busca uma página quando uma pessoa pede | ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher | OpenAI, Perplexity e Meta dizem que pode não se aplicar; a Anthropic diz que o Claude-User o segue |
Bloquear um tipo não bloqueia os outros. Por exemplo, impedir um rastreador de treinamento não tira você da busca com IA, que tem o próprio rastreador.
Como ler a tabela
- Requisições e IPs únicos: muitas requisições de um só endereço e poucas de muitos endereços significam coisas diferentes, então olhe para os dois.
- Códigos de status: para um rastreador de busca, respostas 4xx e 5xx significam que suas páginas não puderam ser buscadas, então não podem aparecer nas respostas.
- Coluna robots.txt: um rastreador que busca /robots.txt pelo menos está lendo as suas regras. A RFC 9309 permite que os rastreadores guardem o arquivo em cache, mas diz que não devem usar uma cópia com mais de 24 horas, a menos que ele esteja inacessível, então um rastreador que nunca o pede pode estar ignorando as regras.
- Outros User-Agents com cara de bot: nomes que não estão na lista de IA. São um lugar para procurar rastreadores que você não conhece.
Um User-Agent é uma declaração
Qualquer pessoa pode enviar a mesma string de User-Agent, então uma contagem por nome é uma contagem de requisições que dizem ser aquele rastreador. Para conferir uma, compare o endereço IP de origem com o que o operador publica.
- OpenAI, Perplexity, Anthropic e Common Crawl publicam faixas de IP de seus rastreadores. A Anthropic observa que bloquear por IP pode não garantir a exclusão e recomenda o robots.txt.
- O Google descreve duas verificações: uma consulta DNS reversa do IP seguida de uma consulta direta que devolva o mesmo endereço, ou a correspondência com as listas de IP que ele publica.
- A Apple publica prefixos de IP do Applebot e também descreve verificações por DNS reverso.
- A documentação do rastreador da Meta não lista faixas de IP e diz para permitir as strings de User-Agent ou os endereços IP.
O que um log não consegue mostrar
- O Google-Extended não tem string de User-Agent própria, e o Applebot-Extended não rastreia páginas da web. Os dois só controlam como os dados coletados pelo Googlebot e pelo Applebot são usados, então nunca aparecem como nomes em um log.
- As requisições atendidas pelo cache de uma CDN, ou interrompidas antes do seu servidor, não estão no log da sua origem.
Fontes (verificadas em 2026-10-23): OpenAI: Overview of OpenAI crawlers / Anthropic: Does Anthropic crawl data from the web? / Perplexity: Perplexity crawlers / Meta: Web crawlers / Common Crawl: CCBot / Apple: About Applebot / Google: Google's common crawlers / Google: Verifying Googlebot / RFC 9309: Robots Exclusion Protocol
FAQ
Quais formatos de log funcionam?
O formato combined do Apache e do nginx, um objeto JSON por linha com nomes de campo comuns como http_user_agent, e listas simples de strings User-Agent, uma por linha. As linhas que ela não consegue ler são contadas e informadas.
Uma correspondência prova que a visita veio mesmo daquela empresa?
Não. Qualquer pessoa pode definir um User-Agent, então uma requisição que diz ser o GPTBot pode vir de outra origem. Vários operadores publicam as faixas de IP de seus rastreadores, por exemplo OpenAI, Perplexity, Anthropic e Common Crawl, e assim você pode conferir o endereço de origem de uma requisição. A documentação do rastreador da Meta não lista nenhuma. Esta ferramenta não confere endereços IP.
Por que Google-Extended e Applebot-Extended não aparecem?
Os dois são nomes de controle do robots.txt, não rastreadores. O Google diz que o Google-Extended não tem uma string de User-Agent própria, e a Apple diz que o Applebot-Extended não rastreia páginas da web. As requisições vêm do Googlebot e do Applebot, então não dá para distingui-las em um log.
O que significam as finalidades?
Treinamento é coletar dados para treinar modelos. Busca é montar um índice para respostas de busca com IA. Usuário é uma busca disparada por um pedido de uma pessoa; alguns operadores afirmam que essas buscas podem não seguir o robots.txt.
Por que minha contagem é menor que a de outra ferramenta?
Um log contém apenas o que chegou ao seu servidor. As requisições atendidas pelo cache de uma CDN, ou bloqueadas antes de chegar, podem nunca aparecer no log da sua origem.
O log é enviado?
Não. A leitura e a contagem acontecem no seu navegador. As linhas além de 200.000 não são contadas, para que a página continue responsiva.