~/ / AI 文章 / AI 機器人會遵守 robots.txt 嗎？Cloudflare 已開始衡量，以及如何檢查你自己的日誌
AI 機器人會遵守 robots.txt 嗎？Cloudflare 已開始衡量，以及如何檢查你自己的日誌
Cloudflare 於 2026 年 10 月 16 日宣布，將導入一套系統，持續評估 Verified bots（已驗證機器人）是否遵守網站的偏好設定，例如 robots.txt 與 HTTP 429 回應。本文整理這項公告，回顧 robots.txt 能做與不能做的事，並讓你檢查自己的存取日誌，以及為 AI 爬蟲撰寫 robots.txt。
發布: · 已於 2026-10-24 對照官方資料確認。本文為其整理摘要，並非取代官方資料。
Cloudflare 宣布了什麼
- 這篇日期為 2026 年 10 月 16 日的文章說，Cloudflare 將導入一套系統，持續評估 Verified bots 是否遵守網站的偏好設定。該系統目前僅供內部使用，Cloudflare 計畫開放給所有客戶，由客戶自行選擇信任門檻，以決定如何處理 Verified bot 的流量。
- robots.txt 被描述為傳達網站擁有者偏好的主要方式。個別的違規可能無關緊要，該系統看的是重複出現的模式，這與 RFC 9309 一致。
- 對於 HTTP 429，系統會檢查機器人在收到該回應後，是放慢速度、暫停，還是維持相同的節奏。放慢或暫停會提高信任度，反覆無視這個訊號則會降低信任度。
- 輸出結果是信任區間（trust band），也就是顯示機器人遵守網站偏好的一致程度的範圍。Cloudflare 表示，未來會在 Radar 上公開這些分數，文章中並未給出數值尺度或門檻。
- 文章指出，Perplexity 在 2025 年被從 Verified bot 清單中除名，原因是它涉嫌存取已選擇退出的資源，並試圖繞過封鎖。
與 OpenAI 的相關試行計畫
- 2026 年 10 月 15 日，Cloudflare 介紹了與 OpenAI 的一項研究試行計畫，該計畫自 2026 年 7 月起，以約占 Cloudflare 網路 1% 的群組展開。Cloudflare 向 OpenAI 的搜尋爬蟲提供訊號，由 OpenAI 自行評估並排序頁面。
- 文章指出，這項研究使用的是用於搜尋與探索的網路中繼資料，而不是為了模型訓練而分享頁面內容，而且關於某個頁面的訊號並不代表授予存取該頁面的許可。
- 文章並指向 Cloudflare 的 AI Crawl Control，用來管理 AI 系統如何存取網站。
robots.txt 能做什麼、不能做什麼
- 它不是存取控制。RFC 9309 指出，這些規則並非一種存取授權，任何人仍然可以請求被禁止的 URL。
- 它控制的是爬取，而不是索引。Google 表示，被 robots.txt 封鎖的頁面仍可能出現在搜尋結果中，只是沒有描述。
- 回應 4xx 狀態的 /robots.txt 會被視為不存在，因此爬蟲可以存取任何資源。5xx，或無法連線的伺服器，則被視為無法存取，因此爬蟲必須假設一切都被禁止。
- 代表使用者行動的擷取器是特例。OpenAI 表示，由於 ChatGPT-User 的動作是由使用者發起，robots.txt 的規則可能不適用。Perplexity 表示，Perplexity-User 因為是使用者要求的擷取，通常會忽略 robots.txt 規則。Meta 表示，meta-externalfetcher 執行的是使用者要求的擷取，可能會略過 robots.txt 規則。
查看哪些 AI 爬蟲真正來訪
你的存取日誌會顯示實際到達的請求。下方的分析工具會在你的瀏覽器中讀取 nginx 或 Apache 的日誌，並依爬蟲與用途統計 AI 爬蟲的請求，包括不重複的 IP 位址、狀態碼、爬蟲是否擷取過 robots.txt，以及被請求最多的路徑。請針對每個爬蟲比較：它是否擷取了 robots.txt，以及它收到哪些狀態碼，包括 429。
User-Agent 只是一種自稱，因此這些計數是自稱為該爬蟲的請求。若要確認請求是否真實，請將其來源 IP 位址與營運者公布的範圍比對。此工具不會查詢 IP 位址。
立即試用: AI Bot Log Analyzer
貼上日誌，即可查看有哪些 AI 爬蟲來過。
User-Agent 只是一種自我聲明，不是證明。任何人都能送出相同的字串。
若要確認請求是否真實，請把它的來源 IP 位址與營運者公開的範圍比對。本工具不會查詢 IP 位址。
Google-Extended 和 Applebot-Extended 永遠不會出現在日誌中：它們是 robots.txt 用的控制名稱，其請求來自 Googlebot 和 Applebot。
可讀取 Apache 與 nginx 的 combined 格式、欄位名稱常見的 JSON lines，以及 User-Agent 字串清單。
爬蟲清單已於 2026-10-15 對照各營運者的文件確認。
所有處理都在你的瀏覽器中執行，日誌不會被上傳。
寫下你的偏好
AI 公司會運行數種爬蟲：有些蒐集訓練資料，有些為 AI 搜尋建立索引，有些則在有人提出要求時擷取頁面。下方的產生器會將這些區分開來，讓你可以禁止訓練用途，而不必退出 AI 搜尋結果，並依各營運者文件中記載的爬蟲名稱產生 robots.txt。
立即試用: AI Crawler robots.txt Generator
預設組合
User-agent 名稱已於 2026-10-15 對照各家公司的官方文件確認。
robots.txt
User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: CCBot Disallow: /
robots.txt 是守規矩的爬蟲才會遵守的請求，擋不住無視它的機器人。那種情況請使用防火牆。