AIボットはrobots.txtに従うのか? Cloudflareが計測を始めた件と、自分のログの確認方法
CloudflareがVerified botsによるrobots.txtとHTTP 429の順守を評価する仕組みを発表。内容と、自分のログやrobots.txtの確認方法。
公開: 使えるツール: AI Bot Log Analyzer, AI Crawler robots.txt Generator
AIとサイト運営
自分で運営するサイトにとって、AIクローラーやAIサービスが何を意味するかの記事です。robots.txt、クローラーのアクセス、AIにサイトを読ませるためのファイルを扱います。