Les bots d'IA respectent-ils robots.txt ? Cloudflare a commencé à mesurer, et comment vérifier vos propres journaux
Cloudflare évalue désormais si les Verified bots (bots vérifiés) respectent robots.txt et HTTP 429. Ce qu'il a annoncé, et comment vérifier vos propres journaux et votre robots.txt.
Publié: Outils utilisables: AI Bot Log Analyzer, AI Crawler robots.txt Generator