AI 봇은 robots.txt를 따를까? Cloudflare가 측정을 시작했습니다, 내 로그를 확인하는 방법

Cloudflare가 발표한 내용

2026년 10월 16일자 게시물은 Cloudflare가 검증된 봇(Verified bots)이 사이트의 선호를 지키는지 지속적으로 평가하는 시스템을 도입한다고 밝힙니다. 이 시스템은 당분간 내부에서 쓰이며, Cloudflare는 이를 모든 고객에게 제공할 계획입니다. 고객은 검증된 봇의 트래픽을 어떻게 처리할지 정하는 신뢰 임계값을 직접 고르게 됩니다.
robots.txt는 사이트 소유자의 선호를 전달하는 기본적인 방법으로 설명됩니다. 개별적인 위반은 중요하지 않을 수 있으며, 시스템은 RFC 9309에 맞춰 반복되는 패턴을 살핍니다.
HTTP 429에 대해서는, 봇이 그 응답을 받은 뒤 속도를 늦추는지, 멈추는지, 같은 속도를 유지하는지를 확인합니다. 속도를 늦추거나 멈추면 신뢰가 올라가고, 그 신호를 반복해서 무시하면 내려갑니다.
출력은 신뢰 구간(trust band)으로, 봇이 사이트의 선호를 얼마나 일관되게 존중하는지를 보여 주는 범위입니다. Cloudflare는 앞으로 점수를 Radar에 공개할 것이라고 말하며, 게시물은 숫자 척도나 임계값을 밝히지 않습니다.
게시물은 Perplexity가 거부 의사를 밝힌 리소스에 접근하고 차단을 우회하려 했다는 의혹으로 2025년에 검증된 봇 목록에서 제외되었다고 말합니다.

OpenAI와의 관련 파일럿

2026년 10월 15일에 Cloudflare는 OpenAI와 함께 2026년 7월에 시작한 연구 파일럿을 설명했습니다. 대상은 Cloudflare 네트워크의 약 1%에 해당하는 집단입니다. Cloudflare는 OpenAI의 검색 크롤러에 신호를 제공하고, OpenAI가 페이지를 직접 평가하고 순위를 매깁니다.
게시물은 이 연구가 모델 학습을 위해 페이지 콘텐츠를 공유하는 것이 아니라 검색과 탐색을 위한 웹 메타데이터를 사용하는 것이며, 페이지에 대한 신호가 그 페이지에 접근할 권한을 주는 것은 아니라고 말합니다.
AI 시스템이 사이트에 접근하는 방식을 관리하는 수단으로 Cloudflare의 AI Crawl Control을 안내합니다.

robots.txt로 할 수 있는 일과 할 수 없는 일

접근 제어가 아닙니다. RFC 9309는 이 규칙이 접근 권한 부여의 한 형태가 아니라고 말하며, 누구든 허용되지 않은 URL을 여전히 요청할 수 있습니다.
색인이 아니라 크롤링을 제어합니다. Google은 robots.txt로 막힌 페이지도 설명 없이 검색 결과에 나타날 수 있다고 말합니다.
4xx 상태로 응답하는 /robots.txt는 사용할 수 없는 것으로 취급되므로, 크롤러는 어떤 리소스에도 접근할 수 있습니다. 5xx이거나 서버에 접속할 수 없는 경우는 도달할 수 없는 것으로 취급되므로, 크롤러는 모든 것이 허용되지 않는다고 가정해야 합니다.
사람을 대신해 동작하는 페처(fetcher)는 특별한 경우입니다. OpenAI는 ChatGPT-User의 동작이 사용자에 의해 시작되므로 robots.txt 규칙이 적용되지 않을 수 있다고 말합니다. Perplexity는 사용자가 가져오기를 요청했기 때문에 Perplexity-User가 일반적으로 robots.txt 규칙을 무시한다고 말합니다. Meta는 meta-externalfetcher가 사용자가 요청한 가져오기를 수행하므로 robots.txt 규칙을 우회할 수 있다고 말합니다.

실제로 방문하는 AI 크롤러 확인하기

접근 로그에는 실제로 도착한 요청이 남아 있습니다. 아래 분석기는 브라우저 안에서 nginx나 Apache 로그를 읽고, AI 크롤러의 요청을 크롤러별, 목적별로 집계하며, 고유 IP 주소, 상태 코드, 크롤러가 robots.txt를 가져왔는지 여부, 가장 많이 요청된 경로도 함께 보여 줍니다. 크롤러마다 robots.txt를 가져왔는지, 429를 포함해 어떤 상태 코드를 받았는지 비교해 보세요.

User-Agent는 자기소개일 뿐이므로, 집계된 수는 해당 크롤러라고 주장하는 요청의 수입니다. 요청이 진짜인지 확인하려면 출처 IP 주소를 운영 주체가 공개한 범위와 대조하세요. 이 도구는 IP 주소를 조회하지 않습니다.

직접 해 보기: AI Bot Log Analyzer

접근 로그

파일 선택

로그를 붙여넣으면 어떤 AI 크롤러가 방문했는지 보여 줍니다.

User-Agent는 증거가 아니라 자기소개입니다. 누구든 같은 문자열을 보낼 수 있습니다.

요청이 진짜인지 확인하려면, 출발지 IP 주소를 운영 주체가 공개한 대역과 비교하세요. 이 도구는 IP 주소를 조회하지 않습니다.

Google-Extended와 Applebot-Extended는 로그에 나타나지 않습니다. 둘 다 robots.txt용 제어 이름이며, 실제 요청은 Googlebot과 Applebot에서 오기 때문입니다.

Apache와 nginx의 combined 형식, 흔한 필드 이름의 JSON 줄, User-Agent 문자열 목록을 읽습니다.

크롤러 목록은 2026-10-15에 각 운영 주체의 문서와 대조했습니다.

모든 처리는 브라우저 안에서 이루어집니다. 로그는 업로드되지 않습니다.

내 선호를 작성하기

AI 회사는 여러 종류의 크롤러를 운영합니다. 학습 데이터를 모으는 것, AI 검색용 색인을 만드는 것, 사람이 요청했을 때 페이지를 가져오는 것이 있습니다. 아래 생성기는 이 종류들을 구분해 다루므로 AI 검색 결과에서 빠지지 않으면서 학습만 막을 수 있고, 각 운영 주체가 문서에 밝힌 크롤러 이름으로 robots.txt를 만듭니다.