~/tools / AI Bot Log Analyzer
AI Bot Log Analyzer — Cuenta las visitas de rastreadores de IA en tus registros
Pega un registro de acceso de tu servidor web para ver qué rastreadores de IA lo visitaron, qué pidieron y cómo respondió tu servidor. Funciona con registros de nginx y Apache y con líneas JSON. Nada sale de tu navegador.
Pega un registro para ver qué rastreadores de IA lo visitaron.
Un User-Agent es una afirmación, no una prueba. Cualquiera puede enviar la misma cadena.
Para comprobar que una petición es auténtica, compara su dirección IP de origen con los rangos que publica el operador. Esta herramienta no consulta direcciones IP.
Google-Extended y Applebot-Extended nunca aparecen en los registros: son nombres de control para robots.txt y sus peticiones vienen de Googlebot y Applebot.
Lee el formato combinado de Apache y nginx, líneas JSON con nombres de campo habituales y listas de cadenas User-Agent.
La lista de rastreadores se comprobó con la documentación de cada operador el 2026-10-15.
Todo se ejecuta en tu navegador. El registro no se sube.
Las empresas de IA usan varios tipos de rastreador: unos recopilan datos de entrenamiento, otros construyen un índice para la búsqueda con IA y otros obtienen una página cuando una persona lo pide. robots.txt puede tratarlos de forma distinta, pero solo tus registros muestran lo que llega de verdad. Esta herramienta lee un registro de acceso, busca las peticiones cuyo User-Agent nombra a un rastreador de la lista del AI Crawler robots.txt Generator y las cuenta por rastreador y por finalidad, con las direcciones IP únicas, los códigos de estado, si pidieron robots.txt y las rutas más solicitadas. Un User-Agent es solo una afirmación, así que los recuentos son de peticiones que dicen ser ese rastreador.
Casos de uso
- Ver si los rastreadores que bloqueaste en robots.txt siguen llegando
- Comprobar que los rastreadores de búsqueda con IA pueden obtener tus páginas sin errores
- Detectar un User-Agent que parece un bot y que no está en la lista de IA
Cómo usarlo
- Pega líneas del registro o elige un archivo de registro. El archivo se lee en tu navegador.
- Lee la tabla: una fila por rastreador, con su finalidad, peticiones, IP únicas y códigos de estado.
- Revisa los demás User-Agent con aspecto de bot por si hay nombres que no conoces.
Tres tipos de rastreador de IA
| Finalidad | Qué hace | Ejemplos | robots.txt |
|---|---|---|---|
| Entrenamiento | Recopila contenido web para entrenar modelos | GPTBot, ClaudeBot, meta-externalagent, CCBot | Los operadores dicen que lo respetan |
| Búsqueda con IA | Construye un índice que se usa para responder preguntas | OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer | Los operadores dicen que lo respetan |
| Por petición del usuario | Obtiene una página cuando una persona lo pide | ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher | OpenAI, Perplexity y Meta dicen que puede no aplicarse; Anthropic dice que Claude-User lo respeta |
Bloquear un tipo no bloquea los demás. Por ejemplo, detener a un rastreador de entrenamiento no te saca de la búsqueda con IA, que tiene su propio rastreador.
Cómo leer la tabla
- Peticiones e IP únicas: muchas peticiones desde una sola dirección y pocas desde muchas direcciones significan cosas distintas, así que mira ambos datos.
- Códigos de estado: en un rastreador de búsqueda, las respuestas 4xx y 5xx significan que no se pudieron obtener tus páginas, por lo que no pueden aparecer en las respuestas.
- Columna robots.txt: un rastreador que pide /robots.txt al menos está leyendo tus reglas. El RFC 9309 permite a los rastreadores guardar el archivo en caché pero dice que no deberían usar una copia de más de 24 horas salvo que no se pueda acceder a él, así que un rastreador que nunca lo pide puede estar ignorando las reglas.
- Otros User-Agent con aspecto de bot: nombres que no están en la lista de IA. Son un lugar donde buscar rastreadores de los que no habías oído hablar.
Un User-Agent es una afirmación
Cualquiera puede enviar la misma cadena User-Agent, así que un recuento por nombre es un recuento de peticiones que dicen ser ese rastreador. Para comprobar una, compara su dirección IP de origen con lo que publica el operador.
- OpenAI, Perplexity, Anthropic y Common Crawl publican rangos de IP de sus rastreadores. Anthropic señala que bloquear por IP puede no excluirte de forma fiable y recomienda robots.txt.
- Google describe dos comprobaciones: una consulta DNS inversa de la IP seguida de una consulta directa que devuelva la misma dirección, o una coincidencia con sus listas de IP publicadas.
- Apple publica prefijos de IP para Applebot y también describe comprobaciones de DNS inverso.
- La documentación del rastreador de Meta no incluye rangos de IP, y dice que se permitan las cadenas User-Agent o las direcciones IP.
Lo que un registro no puede mostrar
- Google-Extended no tiene una cadena User-Agent propia, y Applebot-Extended no rastrea páginas web. Ambos solo controlan cómo se usan los datos recopilados por Googlebot y Applebot, por lo que nunca aparecen como nombres en un registro.
- Las peticiones atendidas desde la caché de una CDN, o detenidas antes de llegar a tu servidor, faltan en el registro de tu servidor de origen.
Fuentes (comprobadas el 2026-10-23): OpenAI: Overview of OpenAI crawlers / Anthropic: Does Anthropic crawl data from the web? / Perplexity: Perplexity crawlers / Meta: Web crawlers / Common Crawl: CCBot / Apple: About Applebot / Google: Google's common crawlers / Google: Verifying Googlebot / RFC 9309: Robots Exclusion Protocol
FAQ
¿Qué formatos de registro admite?
El formato combinado de Apache y nginx, un objeto JSON por línea con nombres de campo habituales como http_user_agent, y listas simples de cadenas User-Agent, una por línea. Las líneas que no puede leer se cuentan y se informan.
¿Una coincidencia demuestra que la visita fue realmente de esa empresa?
No. Cualquiera puede establecer un User-Agent, así que una petición que dice ser GPTBot puede venir de otra persona. Varios operadores publican los rangos de IP de sus rastreadores, por ejemplo OpenAI, Perplexity, Anthropic y Common Crawl, de modo que puedes comprobar la dirección de origen de una petición. La documentación del rastreador de Meta no incluye ninguno. Esta herramienta no comprueba direcciones IP.
¿Por qué no aparecen Google-Extended ni Applebot-Extended?
Ambos son nombres de control para robots.txt, no rastreadores. Google dice que Google-Extended no tiene una cadena User-Agent propia, y Apple dice que Applebot-Extended no rastrea páginas web. Las peticiones vienen de Googlebot y Applebot, por lo que no se pueden distinguir en un registro.
¿Qué significan las finalidades?
Entrenamiento significa recopilar datos para entrenar modelos. Búsqueda significa construir un índice para respuestas de búsqueda con IA. Usuario significa una descarga provocada por la petición de una persona; algunos operadores indican que estas descargas pueden no seguir robots.txt.
¿Por qué mi recuento es menor que en otra herramienta?
Un registro solo contiene lo que llegó a tu servidor. Las peticiones atendidas desde la caché de una CDN, o bloqueadas antes de llegar, pueden no aparecer nunca en el registro de tu servidor de origen.
¿Se sube el registro?
No. La lectura y el recuento se hacen en tu navegador. Las líneas que pasan de 200 000 no se cuentan para que la página siga respondiendo.