Bot AI có tuân theo robots.txt không? Cloudflare đã bắt đầu đo lường, và cách kiểm tra log của bạn

Cloudflare đã công bố gì

• Bài đăng, đề ngày 16 tháng 10 năm 2026, cho biết Cloudflare đang đưa vào một hệ thống liên tục đánh giá xem các Verified bots có tôn trọng các ưu tiên của trang web hay không. Hiện hệ thống được dùng nội bộ, và Cloudflare có kế hoạch cung cấp cho mọi khách hàng, những người sẽ chọn ngưỡng tin cậy quyết định cách xử lý lưu lượng của Verified bot.
• robots.txt được mô tả là cách chính để truyền đạt ưu tiên của chủ trang web. Các vi phạm đơn lẻ có thể không đáng kể, và hệ thống tìm kiếm những mẫu lặp lại, phù hợp với RFC 9309.
• Với HTTP 429, hệ thống kiểm tra xem bot chậm lại, tạm dừng hay giữ nguyên nhịp sau khi nhận được phản hồi. Chậm lại hoặc tạm dừng làm tăng độ tin cậy, còn liên tục phớt lờ tín hiệu làm giảm độ tin cậy.
• Đầu ra là một dải tin cậy (trust band), một khoảng cho thấy bot tôn trọng ưu tiên của trang web nhất quán đến mức nào. Cloudflare cho biết trong tương lai điểm số sẽ được công khai trên Radar, và bài đăng không đưa ra thang số hay ngưỡng cụ thể nào.
• Bài đăng cho biết Perplexity đã bị loại khỏi danh sách Verified bot vào năm 2025 sau khi bị cho là đã truy cập các tài nguyên đã từ chối (opt-out) và cố vượt qua các biện pháp chặn.

Một chương trình thí điểm liên quan với OpenAI

• Ngày 15 tháng 10 năm 2026, Cloudflare mô tả một chương trình thí điểm nghiên cứu với OpenAI, bắt đầu từ tháng 7 năm 2026 với một nhóm chiếm khoảng 1% mạng lưới của Cloudflare. Cloudflare cung cấp tín hiệu cho trình thu thập dữ liệu tìm kiếm của OpenAI, còn OpenAI tự đánh giá và xếp hạng các trang.
• Bài đăng cho biết nghiên cứu này dùng siêu dữ liệu về web phục vụ tìm kiếm và khám phá, chứ không chia sẻ nội dung trang để huấn luyện mô hình, và một tín hiệu về một trang không đồng nghĩa với việc cấp phép truy cập trang đó.
• Bài đăng dẫn tới AI Crawl Control của Cloudflare để quản lý cách các hệ thống AI truy cập một trang web.

robots.txt làm được và không làm được gì

• Nó không phải là kiểm soát truy cập. RFC 9309 nói rằng các quy tắc không phải là một hình thức ủy quyền truy cập, và bất kỳ ai vẫn có thể yêu cầu một URL bị cấm.
• Nó kiểm soát việc thu thập dữ liệu, không phải việc lập chỉ mục. Google cho biết một trang bị robots.txt chặn vẫn có thể xuất hiện trong kết quả tìm kiếm, nhưng không có phần mô tả.
• Một /robots.txt trả về trạng thái 4xx được coi là không có sẵn, nên trình thu thập dữ liệu có thể truy cập mọi tài nguyên. Trạng thái 5xx, hoặc một máy chủ không thể kết nối, được coi là không thể truy cập, nên trình thu thập dữ liệu phải giả định rằng mọi thứ đều bị cấm.
• Các bộ tải hoạt động thay mặt một người là trường hợp đặc biệt. OpenAI nói rằng vì các hành động của ChatGPT-User do người dùng khởi tạo nên các quy tắc robots.txt có thể không áp dụng. Perplexity nói Perplexity-User thường bỏ qua các quy tắc robots.txt vì có người dùng đã yêu cầu lần tải đó. Meta nói meta-externalfetcher có thể bỏ qua các quy tắc robots.txt vì nó thực hiện các lần tải do người dùng yêu cầu.

Xem trình thu thập dữ liệu AI nào thật sự ghé thăm

User-Agent chỉ là một lời tự xưng, nên các con số là số yêu cầu tự nhận là trình thu thập đó. Để kiểm tra một yêu cầu có thật hay không, hãy so sánh địa chỉ IP nguồn của nó với các dải mà nhà vận hành công bố. Công cụ không tra cứu địa chỉ IP.

Viết ra các ưu tiên của bạn

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: meta-externalagent
User-agent: CCBot
Disallow: /

Nguồn

• Cloudflare: Continuous accountability for Verified bots
• Cloudflare: Cloudflare and OpenAI, making AI discovery better for everyone
• RFC 9309: Robots Exclusion Protocol
• Google Search Central: Introduction to robots.txt
• OpenAI: Overview of OpenAI crawlers
• Perplexity: Perplexity crawlers
• Meta: Web crawlers