Halten sich KI-Bots an die robots.txt? Cloudflare hat begonnen zu messen, und so prüfen Sie Ihre eigenen Logs
Cloudflare bewertet jetzt, ob Verifizierte Bots (Verified bots) die robots.txt und HTTP 429 beachten. Was angekündigt wurde und wie Sie Ihre Logs und Ihre robots.txt prüfen.
Veröffentlicht: Werkzeuge zum Ausprobieren: AI Bot Log Analyzer, AI Crawler robots.txt Generator