¿Los bots de IA siguen robots.txt? Cloudflare ha empezado a medirlo, y cómo revisar tus propios registros
Cloudflare ahora evalúa si los Verified bots (bots verificados) respetan robots.txt y HTTP 429. Qué anunció y cómo revisar tus registros y tu robots.txt.
Publicado: Herramientas que puedes usar: AI Bot Log Analyzer, AI Crawler robots.txt Generator