Os bots de IA seguem o robots.txt? A Cloudflare começou a medir, e como verificar seus próprios logs

O que a Cloudflare anunciou

A publicação, datada de 16 de outubro de 2026, diz que a Cloudflare está introduzindo um sistema para avaliar continuamente se os bots verificados (Verified bots) respeitam as preferências do site. Por enquanto o sistema é de uso interno, e a Cloudflare pretende disponibilizá-lo a todos os clientes, que escolherão o limite de confiança que decide como o tráfego dos bots verificados é tratado.
O robots.txt é descrito como a principal forma de comunicar as preferências do dono do site. Violações isoladas podem não importar, e o sistema procura padrões repetidos, em linha com a RFC 9309.
Para o HTTP 429, o sistema verifica se um bot reduz o ritmo, faz uma pausa ou mantém o mesmo ritmo depois de receber a resposta. Reduzir o ritmo ou fazer uma pausa aumenta a confiança, e ignorar o sinal repetidamente a diminui.
O resultado é uma faixa de confiança, um intervalo que mostra com que consistência um bot respeita as preferências do site. A Cloudflare diz que as pontuações serão compartilhadas publicamente no Radar no futuro, e a publicação não dá escala numérica nem limites.
A publicação diz que a Perplexity foi retirada da lista de bots verificados (Verified bots) em 2025, depois de supostamente acessar recursos que haviam optado por ficar de fora e tentar contornar bloqueios.

Um piloto relacionado com a OpenAI

Em 15 de outubro de 2026, a Cloudflare descreveu um piloto de pesquisa com a OpenAI, iniciado em julho de 2026 com um grupo de cerca de 1% da rede da Cloudflare. A Cloudflare fornece sinais ao rastreador de busca da OpenAI, e a OpenAI avalia e classifica as páginas por conta própria.
A publicação diz que essa pesquisa usa metadados sobre a web para busca e descoberta, em vez de compartilhar o conteúdo das páginas para treinamento de modelos, e que um sinal sobre uma página não concede permissão para acessá-la.
Ela aponta para o AI Crawl Control da Cloudflare para gerenciar como os sistemas de IA acessam um site.

O que o robots.txt pode e não pode fazer

Ele não é controle de acesso. A RFC 9309 diz que as regras não são uma forma de autorização de acesso, e qualquer pessoa ainda pode solicitar uma URL proibida.
Ele controla o rastreamento, não a indexação. O Google diz que uma página bloqueada pelo robots.txt ainda pode aparecer nos resultados de busca, sem descrição.
Um /robots.txt que responde com um status 4xx é tratado como indisponível, então um rastreador pode acessar qualquer recurso. Um 5xx, ou um servidor que não pode ser alcançado, é tratado como inacessível, então um rastreador deve presumir que tudo é proibido.
Os fetchers que agem em nome de uma pessoa são um caso especial. A OpenAI diz que, como as ações do ChatGPT-User são iniciadas por um usuário, as regras do robots.txt podem não se aplicar. A Perplexity diz que o Perplexity-User geralmente ignora as regras do robots.txt porque um usuário solicitou a busca. A Meta diz que o meta-externalfetcher pode ignorar as regras do robots.txt porque realiza buscas que um usuário solicitou.

Veja quais rastreadores de IA realmente visitam

O log de acesso mostra o que realmente chega. O analisador abaixo lê um log do nginx ou do Apache no seu navegador e conta as requisições de rastreadores de IA por rastreador e por finalidade, com endereços IP únicos, códigos de status, se o rastreador buscou o robots.txt e os caminhos mais solicitados. Compare, para cada rastreador, se ele buscou o robots.txt e quais códigos de status recebeu, incluindo 429.

Um User-Agent é apenas uma declaração, então as contagens são de requisições que dizem ser aquele rastreador. Para verificar se uma requisição é autêntica, compare o endereço IP de origem com as faixas que o operador publica. A ferramenta não consulta endereços IP.

Experimente: AI Bot Log Analyzer

Log de acesso

Escolher um arquivo

Cole um log para ver quais rastreadores de IA o visitaram.

Um User-Agent é uma declaração, não uma prova. Qualquer pessoa pode enviar a mesma string.

Para conferir se uma requisição é real, compare o endereço IP de origem com as faixas que o operador publica. Esta ferramenta não consulta endereços IP.

Google-Extended e Applebot-Extended nunca aparecem nos logs: são nomes de controle do robots.txt, e suas requisições vêm do Googlebot e do Applebot.

Lê o formato combined do Apache e do nginx, linhas JSON com nomes de campo comuns e listas de strings User-Agent.

A lista de rastreadores foi conferida com a documentação de cada operador em 2026-10-15.

Tudo roda no seu navegador. O log não é enviado.

Escreva suas preferências

As empresas de IA operam vários tipos de rastreador: alguns coletam dados de treinamento, alguns montam um índice para a busca com IA e alguns buscam uma página quando uma pessoa pede. O gerador abaixo mantém esses tipos separados, para que você possa proibir o treinamento sem sair dos resultados da busca com IA, e monta um robots.txt a partir dos nomes de rastreador que cada operador documenta.