~/tools / AI Bot Log Analyzer
AI Bot Log Analyzer — Đếm lượt truy cập của trình thu thập AI trong nhật ký
Dán nhật ký truy cập của máy chủ web để xem trình thu thập AI nào đã ghé qua, chúng đã tải gì và máy chủ của bạn trả lời ra sao. Hoạt động với nhật ký nginx, Apache và JSON lines. Không có gì rời khỏi trình duyệt của bạn.
Dán nhật ký để xem trình thu thập AI nào đã ghé qua.
User-Agent là một lời tự xưng, không phải bằng chứng. Ai cũng có thể gửi cùng một chuỗi.
Để kiểm tra một yêu cầu có thật hay không, hãy so địa chỉ IP nguồn của nó với các dải mà đơn vị vận hành công bố. Công cụ này không tra cứu địa chỉ IP.
Google-Extended và Applebot-Extended không bao giờ xuất hiện trong nhật ký: chúng là tên điều khiển cho robots.txt, còn yêu cầu của chúng đến từ Googlebot và Applebot.
Đọc định dạng combined của Apache và nginx, JSON lines với các tên trường phổ biến, và danh sách chuỗi User-Agent.
Danh sách trình thu thập được đối chiếu với tài liệu của từng đơn vị vận hành vào 2026-10-15.
Mọi thứ chạy trong trình duyệt của bạn. Nhật ký không được tải lên.
Các công ty AI chạy nhiều loại trình thu thập: có loại thu thập dữ liệu huấn luyện, có loại xây dựng chỉ mục cho tìm kiếm AI, và có loại tải trang khi có người yêu cầu. robots.txt có thể đối xử với từng loại khác nhau, nhưng chỉ nhật ký của bạn mới cho thấy điều gì thật sự đến. Công cụ này đọc nhật ký truy cập, tìm các yêu cầu có User-Agent nêu tên một trình thu thập trong danh sách của AI Crawler robots.txt Generator, và đếm theo trình thu thập và theo mục đích, kèm số địa chỉ IP riêng biệt, mã trạng thái, việc chúng có tải robots.txt hay không, và các đường dẫn được yêu cầu nhiều nhất. User-Agent chỉ là một lời tự xưng, nên các con số là số yêu cầu tự nhận là trình thu thập đó.
Trường hợp dùng
- Xem các trình thu thập bạn đã chặn trong robots.txt có còn ghé qua hay không
- Kiểm tra trình thu thập của tìm kiếm AI có tải được các trang của bạn mà không gặp lỗi hay không
- Phát hiện một User-Agent giống bot nhưng không có trong danh sách AI
Cách dùng
- Dán các dòng nhật ký, hoặc chọn một tệp nhật ký. Tệp được đọc ngay trong trình duyệt của bạn.
- Đọc bảng: mỗi trình thu thập một hàng, kèm mục đích, số yêu cầu, số IP riêng biệt và mã trạng thái.
- Xem qua các User-Agent giống bot khác để tìm những cái tên bạn chưa biết.
Ba loại trình thu thập AI
| Mục đích | Làm gì | Ví dụ | robots.txt |
|---|---|---|---|
| Huấn luyện | Thu thập nội dung web để huấn luyện mô hình | GPTBot, ClaudeBot, meta-externalagent, CCBot | Các đơn vị vận hành nói rằng họ tuân theo |
| Tìm kiếm AI | Xây dựng chỉ mục dùng để trả lời câu hỏi | OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer | Các đơn vị vận hành nói rằng họ tuân theo |
| Do người dùng kích hoạt | Tải một trang khi có người yêu cầu | ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher | OpenAI, Perplexity và Meta nói rằng nó có thể không áp dụng; Anthropic nói Claude-User tuân theo |
Chặn một loại không chặn các loại còn lại. Chẳng hạn, ngăn một trình thu thập huấn luyện không loại bạn khỏi tìm kiếm AI, vốn có trình thu thập riêng.
Cách đọc bảng
- Yêu cầu và IP riêng biệt: nhiều yêu cầu từ một địa chỉ và vài yêu cầu từ nhiều địa chỉ mang ý nghĩa khác nhau, nên hãy xem cả hai.
- Mã trạng thái: với trình thu thập của tìm kiếm, các phản hồi 4xx và 5xx nghĩa là các trang của bạn không tải được, nên chúng không thể xuất hiện trong câu trả lời.
- Cột robots.txt: một trình thu thập tải /robots.txt ít nhất là đang đọc các quy tắc của bạn. RFC 9309 cho phép trình thu thập lưu đệm tệp này nhưng nói rằng chúng không nên dùng bản cũ hơn 24 giờ trừ khi không truy cập được, nên một trình thu thập không bao giờ hỏi có thể đang bỏ qua các quy tắc.
- Các User-Agent giống bot khác: những cái tên không có trong danh sách AI. Đây là nơi để tìm các trình thu thập bạn chưa từng nghe tới.
User-Agent là một lời tự xưng
Ai cũng có thể gửi cùng một chuỗi User-Agent, nên số đếm theo tên là số yêu cầu tự nhận là trình thu thập đó. Để kiểm tra một yêu cầu, hãy so địa chỉ IP nguồn của nó với những gì đơn vị vận hành công bố.
- OpenAI, Perplexity, Anthropic và Common Crawl công bố dải IP cho trình thu thập của họ. Anthropic lưu ý rằng chặn theo IP có thể không đảm bảo việc từ chối và khuyên dùng robots.txt.
- Google mô tả hai cách kiểm tra: tra cứu DNS ngược của IP rồi tra cứu DNS xuôi trả về cùng địa chỉ đó, hoặc đối chiếu với danh sách IP mà họ công bố.
- Apple công bố các tiền tố IP cho Applebot và cũng mô tả cách kiểm tra bằng DNS ngược.
- Tài liệu về trình thu thập của Meta không liệt kê dải IP, và nói hãy cho phép các chuỗi User-Agent hoặc các địa chỉ IP.
Những gì nhật ký không thể cho thấy
- Google-Extended không có chuỗi User-Agent riêng, và Applebot-Extended không thu thập các trang web. Cả hai chỉ kiểm soát cách dữ liệu do Googlebot và Applebot thu thập được sử dụng, nên chúng không bao giờ xuất hiện dưới dạng tên trong nhật ký.
- Các yêu cầu được trả lời từ bộ nhớ đệm của CDN, hoặc bị chặn trước khi đến máy chủ của bạn, sẽ không có trong nhật ký máy chủ gốc.
Nguồn (kiểm tra ngày 2026-10-23): OpenAI: Overview of OpenAI crawlers / Anthropic: Does Anthropic crawl data from the web? / Perplexity: Perplexity crawlers / Meta: Web crawlers / Common Crawl: CCBot / Apple: About Applebot / Google: Google's common crawlers / Google: Verifying Googlebot / RFC 9309: Robots Exclusion Protocol
Hỏi đáp
Hỗ trợ những định dạng nhật ký nào?
Định dạng combined của Apache và nginx, mỗi dòng một đối tượng JSON với các tên trường phổ biến như http_user_agent, và danh sách chuỗi User-Agent thuần, mỗi dòng một chuỗi. Những dòng không đọc được sẽ được đếm và báo lại.
Một lần khớp có chứng minh lượt truy cập đúng là của công ty đó không?
Không. Ai cũng có thể đặt User-Agent, nên một yêu cầu tự nhận là GPTBot có thể đến từ người khác. Một số đơn vị vận hành công bố dải IP của trình thu thập của họ, chẳng hạn OpenAI, Perplexity, Anthropic và Common Crawl, nên bạn có thể kiểm tra địa chỉ nguồn của một yêu cầu. Tài liệu về trình thu thập của Meta không liệt kê dải nào. Công cụ này không kiểm tra địa chỉ IP.
Tại sao Google-Extended và Applebot-Extended không xuất hiện?
Cả hai là tên điều khiển cho robots.txt, không phải trình thu thập. Google cho biết Google-Extended không có chuỗi User-Agent riêng, và Apple cho biết Applebot-Extended không thu thập các trang web. Các yêu cầu đến từ Googlebot và Applebot, nên không thể phân biệt trong nhật ký.
Các mục đích có nghĩa là gì?
Huấn luyện nghĩa là thu thập dữ liệu để huấn luyện mô hình. Tìm kiếm nghĩa là xây dựng chỉ mục cho các câu trả lời của tìm kiếm AI. Người dùng nghĩa là một lần tải do yêu cầu của một người kích hoạt; một số đơn vị vận hành nói rằng những lần tải này có thể không tuân theo robots.txt.
Tại sao số đếm của tôi thấp hơn ở công cụ khác?
Nhật ký chỉ chứa những gì đã đến máy chủ của bạn. Các yêu cầu được trả lời từ bộ nhớ đệm của CDN, hoặc bị chặn trước khi đến nơi, có thể không bao giờ xuất hiện trong nhật ký máy chủ gốc của bạn.
Nhật ký có được tải lên không?
Không. Việc đọc và đếm diễn ra trong trình duyệt của bạn. Các dòng vượt quá 200.000 không được đếm để trang vẫn phản hồi tốt.