~/tools / AI Bot Log Analyzer
AI Bot Log Analyzer — 統計存取日誌中的 AI 爬蟲來訪次數
貼上網站伺服器的存取日誌，即可看出有哪些 AI 爬蟲來過、抓取了什麼，以及你的伺服器如何回應。支援 nginx 與 Apache 日誌及 JSON lines。內容不會離開你的瀏覽器。
貼上日誌，即可查看有哪些 AI 爬蟲來過。
User-Agent 只是一種自我聲明，不是證明。任何人都能送出相同的字串。
若要確認請求是否真實，請把它的來源 IP 位址與營運者公開的範圍比對。本工具不會查詢 IP 位址。
Google-Extended 和 Applebot-Extended 永遠不會出現在日誌中：它們是 robots.txt 用的控制名稱，其請求來自 Googlebot 和 Applebot。
可讀取 Apache 與 nginx 的 combined 格式、欄位名稱常見的 JSON lines，以及 User-Agent 字串清單。
爬蟲清單已於 2026-10-15 對照各營運者的文件確認。
所有處理都在你的瀏覽器中執行，日誌不會被上傳。
AI 公司運作著好幾種爬蟲：有的蒐集訓練資料，有的為 AI 搜尋建立索引，有的在有人提出要求時才讀取頁面。robots.txt 可以對它們區別對待，但實際上有哪些請求抵達，只有日誌看得出來。本工具會讀取存取日誌，找出 User-Agent 帶有 AI Crawler robots.txt Generator 清單中爬蟲名稱的請求，並依爬蟲與用途統計，同時列出不重複的 IP 位址、狀態碼、是否讀取過 robots.txt，以及被要求最多次的路徑。User-Agent 只是一種自我聲明，因此統計的是「自稱是該爬蟲」的請求數。
使用情境
- 確認你在 robots.txt 中封鎖的爬蟲是否仍然來訪
- 確認 AI 搜尋爬蟲能無誤地讀取你的頁面
- 找出不在 AI 清單上、但看起來像機器人的 User-Agent
使用方法
- 貼上日誌行，或選擇日誌檔案。檔案會在你的瀏覽器中讀取。
- 查看表格：每個爬蟲一列，顯示其用途、請求數、不重複 IP 數與狀態碼。
- 瀏覽其他疑似機器人的 User-Agent，找出你不認識的名稱。
三種 AI 爬蟲
| 用途 | 做什麼 | 範例 | robots.txt |
|---|---|---|---|
| 訓練用 | 蒐集網頁內容來訓練模型 | GPTBot, ClaudeBot, meta-externalagent, CCBot | 營運者表示會遵守 |
| AI 搜尋用 | 建立用來回答問題的索引 | OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer | 營運者表示會遵守 |
| 使用者觸發型 | 在有人提出要求時讀取頁面 | ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher | OpenAI、Perplexity 與 Meta 表示可能不適用；Anthropic 表示 Claude-User 會遵守 |
封鎖其中一種不會封鎖其他種類。例如，擋下訓練用爬蟲並不會讓你從 AI 搜尋中消失，因為 AI 搜尋有自己的爬蟲。
如何閱讀表格
- 請求數與不重複 IP：同一個位址發出大量請求，與許多位址各發出少量請求，意義並不相同，所以兩者都要看。
- 狀態碼：對搜尋型爬蟲而言，4xx 和 5xx 的回應代表你的頁面無法被讀取，因此也不會出現在回答中。
- robots.txt 欄：會讀取 /robots.txt 的爬蟲，至少是有在讀你的規則。RFC 9309 允許爬蟲快取該檔案，但指出除非無法連線，否則不應使用超過 24 小時的副本，所以從來不去請求它的爬蟲，可能是在無視這些規則。
- 其他疑似機器人的 User-Agent：不在 AI 清單上的名稱。你可以從這裡找出你還沒聽過的爬蟲。
User-Agent 只是一種自我聲明
任何人都能送出相同的 User-Agent 字串，所以依名稱統計的結果，是「自稱是該爬蟲」的請求數。若要確認某個請求，請把它的來源 IP 位址與營運者公開的資料比對。
- OpenAI、Perplexity、Anthropic 和 Common Crawl 公開了其爬蟲的 IP 範圍。Anthropic 指出，依 IP 封鎖未必能可靠地讓你退出，並建議使用 robots.txt。
- Google 說明了兩種檢查方式：先對 IP 做反向 DNS 查詢，再做正向查詢並得到相同的位址；或是比對其公開的 IP 清單。
- Apple 公開了 Applebot 的 IP 前綴，也說明了反向 DNS 的檢查方式。
- Meta 的爬蟲文件沒有列出 IP 範圍，並表示要允許其 User-Agent 字串或 IP 位址。
日誌看不到的事
- Google-Extended 沒有自己的 User-Agent 字串，Applebot-Extended 也不會爬取網頁。兩者只用來控制 Googlebot 和 Applebot 所蒐集資料的用途，因此永遠不會以名稱出現在日誌裡。
- 由 CDN 快取回應的請求，或在抵達你的伺服器之前就被擋下的請求，不會出現在你的源站日誌中。
出處（確認於 2026-10-23）: OpenAI: Overview of OpenAI crawlers / Anthropic: Does Anthropic crawl data from the web? / Perplexity: Perplexity crawlers / Meta: Web crawlers / Common Crawl: CCBot / Apple: About Applebot / Google: Google's common crawlers / Google: Verifying Googlebot / RFC 9309: Robots Exclusion Protocol
FAQ
支援哪些日誌格式？
Apache 與 nginx 的 combined 格式、每行一個 JSON 物件且欄位名稱常見（例如 http_user_agent）的格式，以及每行一個 User-Agent 字串的單純清單。無法讀取的行會被計數並回報。
比對成功就能證明訪客真的來自該公司嗎？
不能。User-Agent 任何人都能設定，所以自稱是 GPTBot 的請求可能來自別人。有幾家業者公開了其爬蟲的 IP 範圍，例如 OpenAI、Perplexity、Anthropic 與 Common Crawl，因此你可以核對請求的來源位址。Meta 的爬蟲文件則沒有列出。本工具不會檢查 IP 位址。
為什麼看不到 Google-Extended 和 Applebot-Extended？
兩者都是 robots.txt 用的控制名稱，而不是爬蟲。Google 表示 Google-Extended 沒有獨立的 User-Agent 字串，Apple 則表示 Applebot-Extended 不會爬取網頁。這些請求來自 Googlebot 和 Applebot，因此在日誌中無法區分。
各種用途是什麼意思？
訓練是指蒐集資料來訓練模型。搜尋是指為 AI 搜尋回答建立索引。使用者則是指由某個人的要求觸發的讀取；部分業者表示，這類讀取可能不遵循 robots.txt。
為什麼我的數字比其他工具少？
日誌只包含實際抵達你伺服器的內容。由 CDN 快取回應的請求，或在抵達之前就被擋下的請求，可能完全不會出現在你的源站日誌裡。
日誌會被上傳嗎？
不會。讀取與統計都在你的瀏覽器中進行。超過 200,000 行的部分不會被計入，以免頁面變得卡頓。