AI 機器人會遵守 robots.txt 嗎？Cloudflare 已開始衡量，以及如何檢查你自己的日誌
Cloudflare 現在會評估 Verified bots 是否遵守 robots.txt 與 HTTP 429。公告內容，以及如何檢查你自己的日誌與 robots.txt。
發布: 可使用的工具: AI Bot Log Analyzer, AI Crawler robots.txt Generator
~/ / AI 爬蟲與網站經營
AI 爬蟲與網站經營
用來決定允許哪些 AI 爬蟲讀取你的網站，並檢查它們實際行為的工具。可產生並測試針對 AI 機器人的 robots.txt 規則，撰寫 llms.txt，並從伺服器記錄中找出 AI 爬蟲。
依使用順序排列的工具
- 挑選要封鎖的 AI 爬蟲，產生 robots.txtAI Crawler robots.txt Generator只封鎖訓練用爬蟲，仍可在 AI 搜尋回答中被引用的 robots.txt
- 確認 robots.txt 實際擋住什麼robots.txt Tester上線前確認特定頁面是否對 Googlebot 可見
- 建立並檢查 llms.txt，讓 AI 代理找到你的重點頁面llms.txt Generator建立並檢查 llms.txt，讓 AI 代理知道你的重點頁面在哪裡
- 統計存取日誌中的 AI 爬蟲來訪次數AI Bot Log Analyzer依爬蟲、用途與狀態統計存取日誌中的 AI 爬蟲來訪
- 判斷訪客的瀏覽器與作業系統User-Agent Parser從存取日誌的 User-Agent 找出回報問題的使用環境