¿Los bots de IA siguen robots.txt? Cloudflare ha empezado a medirlo, y cómo revisar tus propios registros

Qué anunció Cloudflare

La publicación, fechada el 16 de octubre de 2026, dice que Cloudflare está introduciendo un sistema para evaluar de forma continua si los Verified bots (bots verificados) respetan las preferencias de los sitios. Por ahora el sistema se usa internamente, y Cloudflare planea ponerlo a disposición de todos sus clientes, que elegirán el umbral de confianza que decide cómo se trata el tráfico de los Verified bots.
robots.txt se describe como la forma principal de comunicar las preferencias de los propietarios de los sitios. Las infracciones aisladas pueden no importar, y el sistema busca patrones repetidos, de acuerdo con la RFC 9309.
Con HTTP 429, el sistema comprueba si un bot reduce el ritmo, hace una pausa o mantiene el mismo ritmo tras recibir la respuesta. Reducir el ritmo o hacer una pausa aumenta la confianza, y ignorar la señal repetidamente la reduce.
El resultado es una banda de confianza, un rango que muestra con qué constancia un bot respeta las preferencias del sitio. Cloudflare dice que en el futuro las puntuaciones se compartirán públicamente en Radar, y la publicación no da ninguna escala numérica ni umbrales.
La publicación dice que Perplexity fue retirada de la lista de Verified bots en 2025 después de que, supuestamente, accediera a recursos de los que se había excluido y tratara de eludir los bloqueos.

Un piloto relacionado con OpenAI

El 15 de octubre de 2026 Cloudflare describió un piloto de investigación con OpenAI que comenzó en julio de 2026 con un grupo de aproximadamente el 1 % de la red de Cloudflare. Cloudflare proporciona señales al rastreador de búsqueda de OpenAI, y OpenAI evalúa y clasifica las páginas por su cuenta.
La publicación dice que esta investigación usa metadatos sobre la web para la búsqueda y el descubrimiento, en lugar de compartir el contenido de las páginas para el entrenamiento de modelos, y que una señal sobre una página no concede permiso para acceder a ella.
Remite a AI Crawl Control de Cloudflare para gestionar cómo acceden los sistemas de IA a un sitio.

Qué puede y qué no puede hacer robots.txt

No es un control de acceso. La RFC 9309 dice que las reglas no son una forma de autorización de acceso, y cualquiera puede seguir solicitando una URL bloqueada.
Controla el rastreo, no la indexación. Google dice que una página bloqueada por robots.txt todavía puede aparecer en los resultados de búsqueda, sin descripción.
Un /robots.txt que responde con un estado 4xx se trata como no disponible, de modo que un rastreador puede acceder a cualquier recurso. Un 5xx, o un servidor al que no se puede llegar, se trata como inaccesible, de modo que un rastreador debe asumir que todo está bloqueado.
Los agentes de descarga que actúan en nombre de una persona son un caso especial. OpenAI dice que, como las acciones de ChatGPT-User las inicia un usuario, es posible que las reglas de robots.txt no se apliquen. Perplexity dice que Perplexity-User generalmente ignora las reglas de robots.txt porque un usuario solicitó la descarga. Meta dice que meta-externalfetcher puede saltarse las reglas de robots.txt porque realiza descargas que un usuario ha solicitado.

Mira qué rastreadores de IA te visitan de verdad

Tu registro de accesos muestra lo que llega realmente. El analizador de abajo lee un registro de nginx o Apache en tu navegador y cuenta las solicitudes de los rastreadores de IA por rastreador y por finalidad, con direcciones IP únicas, códigos de estado, si el rastreador descargó robots.txt y las rutas más solicitadas. Compara, para cada rastreador, si descargó robots.txt y qué códigos de estado recibió, incluido el 429.

Un User-Agent es solo una declaración, así que los recuentos son solicitudes que dicen ser ese rastreador. Para comprobar que una solicitud es real, compara su dirección IP de origen con los rangos que publica el operador. La herramienta no consulta direcciones IP.

Pruébalo: AI Bot Log Analyzer

Registro de acceso

Elegir un archivo

Pega un registro para ver qué rastreadores de IA lo visitaron.

Un User-Agent es una afirmación, no una prueba. Cualquiera puede enviar la misma cadena.

Para comprobar que una petición es auténtica, compara su dirección IP de origen con los rangos que publica el operador. Esta herramienta no consulta direcciones IP.

Google-Extended y Applebot-Extended nunca aparecen en los registros: son nombres de control para robots.txt y sus peticiones vienen de Googlebot y Applebot.

Lee el formato combinado de Apache y nginx, líneas JSON con nombres de campo habituales y listas de cadenas User-Agent.

La lista de rastreadores se comprobó con la documentación de cada operador el 2026-10-15.

Todo se ejecuta en tu navegador. El registro no se sube.

Escribe tus preferencias

Las empresas de IA operan varios tipos de rastreador: unos recopilan datos de entrenamiento, otros construyen un índice para la búsqueda con IA y otros descargan una página cuando una persona lo pide. El generador de abajo los mantiene separados, de modo que puedes bloquear el entrenamiento sin dejar de aparecer en los resultados de la búsqueda con IA, y construye un robots.txt a partir de los nombres de rastreador que documenta cada operador.