AIボットはrobots.txtに従うのか? Cloudflareが計測を始めた件と、自分のログの確認方法
CloudflareがVerified botsによるrobots.txtとHTTP 429の順守を評価する仕組みを発表。内容と、自分のログやrobots.txtの確認方法。
公開: 使えるツール: AI Bot Log Analyzer, AI Crawler robots.txt Generator
~/ / AIクローラーとサイト運営
AIクローラーとサイト運営
どの AI クローラーにサイトを読ませるかを決め、実際の動きを確かめるツールです。AI ボット向けの robots.txt のルールを作って試し、llms.txt を書き、サーバーのログから AI クローラーを探します。
使う順に並べたツール
- AIクローラーを止める robots.txt を作るAI Crawler robots.txt Generator学習だけ止めて、AI検索の回答には載り続けるrobots.txtを作れます
- robots.txtの効き目を確かめるrobots.txt Tester特定のページがGooglebotから見えているかを、公開前に確かめられます
- AIエージェントに重要なページを伝える llms.txt を作成・点検しますllms.txt GeneratorAIエージェントに重要なページを伝える llms.txt を作成・点検します
- アクセスログのAIクローラーの訪問を集計しますAI Bot Log Analyzerアクセスログに残るAIクローラーの訪問を、クローラー・目的・ステータス別に集計します
- アクセス元のブラウザ・OSを調べるUser-Agent ParserアクセスログのUser-Agentから、不具合報告のあった環境を特定できます