AIボットはrobots.txtに従うのか? Cloudflareが計測を始めた件と、自分のログの確認方法

Cloudflareの発表内容

2026年10月16日付の投稿によると、Cloudflareは、Verified botsがサイトの意向を守っているかを継続的に評価する仕組みを導入します。この仕組みは今のところ社内で使われており、Cloudflareはすべての顧客に提供する予定です。顧客は、Verified botのトラフィックの扱いを決める信頼のしきい値を選びます。
robots.txtは、サイト運営者の意向を伝える主な手段と説明されています。単発の違反は問題にならないかもしれず、この仕組みは繰り返されるパターンを見ます。これはRFC 9309に沿った考え方です。
HTTP 429については、ボットがそのレスポンスを受け取ったあとに、速度を落とすか、止まるか、同じペースを続けるかを調べます。速度を落とすか止まると信頼が上がり、シグナルを繰り返し無視すると下がります。
出力は信頼のバンド、つまり、ボットがサイトの意向をどれだけ一貫して守っているかを示す範囲です。Cloudflareは、スコアを将来Radarで公開すると述べており、投稿には数値の尺度もしきい値も示されていません。
投稿によると、Perplexityは、オプトアウトされたリソースにアクセスし、ブロックを回避しようとしたとされることから、2025年にVerified botの一覧から外されました。

OpenAIとの関連するパイロット

Cloudflareは2026年10月15日、2026年7月に始まったOpenAIとの研究パイロットについて説明しました。対象はCloudflareのネットワークの約1%です。CloudflareはOpenAIの検索クローラーにシグナルを提供し、ページの評価と順位付けはOpenAI自身が行います。
投稿によると、この研究が使うのは、検索と発見のためのウェブに関するメタデータであり、モデルの学習のためにページの内容を共有するものではありません。また、ページに関するシグナルは、そのページへのアクセスを許可するものではありません。
AIシステムがサイトにアクセスする方法を管理する手段として、CloudflareのAI Crawl Controlが挙げられています。

robots.txtにできることとできないこと

アクセス制御ではありません。RFC 9309は、この規則はアクセス認可の一形態ではないと述べており、禁止されたURLでも、誰でもリクエストできます。
制御するのはクロールであり、インデックス登録ではありません。Googleは、robots.txtでブロックされたページでも、説明なしで検索結果に表示されることがあると述べています。
/robots.txtが4xxのステータスで応答する場合は、利用できないものとして扱われ、クローラーはどのリソースにもアクセスしてよいことになります。5xxの場合や、サーバーに到達できない場合は、到達不能として扱われ、クローラーはすべてが禁止されているものと想定しなければなりません。
人の代わりに動くフェッチャーは特別な場合です。OpenAIは、ChatGPT-Userの動作は利用者が起点となるため、robots.txtの規則が適用されない場合があると述べています。Perplexityは、Perplexity-Userは利用者がフェッチを求めたものであるため、一般にrobots.txtの規則を無視すると述べています。Metaは、meta-externalfetcherは利用者が求めたフェッチを行うため、robots.txtの規則を回避する場合があると述べています。

実際に来ているAIクローラーを確認する

アクセスログには、実際に届いているものが記録されています。下のアナライザーは、nginxまたはApacheのログをブラウザー内で読み込み、AIクローラーからのリクエストを、クローラー別と目的別に数えます。あわせて、ユニークなIPアドレス、ステータスコード、クローラーがrobots.txtを取得したかどうか、最も多くリクエストされたパスも表示します。クローラーごとに、robots.txtを取得したかどうかと、429を含めてどのステータスコードを受け取ったかを比べてください。

User-Agentは名乗りにすぎないので、数えているのは、そのクローラーだと名乗っているリクエストです。リクエストが本物かどうかを確かめるには、送信元のIPアドレスを、運営者が公開している範囲と照らし合わせます。このツールはIPアドレスの照会は行いません。

試してみる: AI Bot Log Analyzer

アクセスログ

ファイルを選ぶ

ログを貼り付けると、どのAIクローラーが訪れたかが分かります。

User-Agent は名乗りであり、証明ではありません。誰でも同じ文字列を送れます。

リクエストが本物かを確かめるには、送信元IPアドレスを運営者が公開している範囲と照らし合わせてください。このツールはIPアドレスの照会は行いません。

Google-Extended と Applebot-Extended はログに現れません。どちらも robots.txt 用の制御名で、リクエストは Googlebot と Applebot から届きます。

Apache と nginx の combined 形式、一般的なフィールド名を持つ JSON Lines、User-Agent 文字列のリストを読み取れます。

クローラーの一覧は、2026-10-15に各運営者のドキュメントと照らして確認しました。

すべてブラウザの中で処理します。ログはアップロードされません。

意向を書く

AI企業は複数の種類のクローラーを運用しています。学習データを集めるもの、AI検索用の索引を作るもの、人が頼んだときにページを取得するものがあります。下のジェネレーターはこれらを分けて扱うので、AI検索の結果に残したまま学習を禁止できます。各運営者が公開しているクローラー名からrobots.txtを作ります。