Os bots de IA seguem o robots.txt? A Cloudflare começou a medir, e como verificar seus próprios logs
A Cloudflare agora avalia se os bots verificados (Verified bots) respeitam o robots.txt e o HTTP 429. O que ela anunciou e como verificar seus próprios logs e seu robots.txt.
Publicado: Ferramentas que você pode usar: AI Bot Log Analyzer, AI Crawler robots.txt Generator