Соблюдают ли ИИ-боты robots.txt? Cloudflare начала измерять это, и как проверить собственные логи

Что объявила Cloudflare

В публикации от 16 октября 2026 года сказано, что Cloudflare вводит систему постоянной оценки того, соблюдают ли проверенные боты (Verified bots) предпочтения сайтов. Пока система используется внутри компании, а Cloudflare планирует сделать её доступной всем клиентам, которые смогут выбирать порог доверия, определяющий, как обрабатывается трафик проверенных ботов.
robots.txt назван основным способом сообщить о предпочтениях владельца сайта. Единичные нарушения могут не иметь значения, и система ищет повторяющиеся закономерности в соответствии с RFC 9309.
Для HTTP 429 система проверяет, замедляется ли бот, делает ли паузу или сохраняет прежний темп после получения ответа. Замедление или пауза повышают доверие, а многократное игнорирование сигнала его понижает.
Результатом является полоса доверия (trust band), диапазон, показывающий, насколько последовательно бот уважает предпочтения сайтов. Cloudflare сообщает, что в будущем оценки будут публично доступны в Radar, а числовая шкала и пороговые значения в публикации не приводятся.
В публикации сказано, что Perplexity была исключена из списка проверенных ботов (Verified bot) в 2025 году после того, как якобы получала доступ к ресурсам, закрытым владельцами, и пыталась обойти блокировки.

Связанный пилотный проект с OpenAI

15 октября 2026 года Cloudflare описала исследовательский пилотный проект с OpenAI, который начался в июле 2026 года с группы примерно в 1% сети Cloudflare. Cloudflare передаёт сигналы поисковому краулеру OpenAI, а OpenAI сама оценивает и ранжирует страницы.
В публикации сказано, что в этом исследовании используются метаданные о вебе для поиска и обнаружения, а не передача содержимого страниц для обучения моделей, и что сигнал о странице не даёт разрешения на доступ к ней.
В ней указывается на AI Crawl Control от Cloudflare для управления тем, как системы ИИ получают доступ к сайту.

Что robots.txt может и чего не может

Это не контроль доступа. В RFC 9309 сказано, что правила не являются формой авторизации доступа и любой по-прежнему может запросить запрещённый URL.
Он управляет сканированием, а не индексированием. Google сообщает, что страница, заблокированная в robots.txt, всё равно может появиться в результатах поиска, но без описания.
/robots.txt, который отвечает статусом 4xx, считается недоступным, поэтому краулер может обращаться к любому ресурсу. Статус 5xx или недоступный сервер считается недостижимым, поэтому краулер должен исходить из того, что всё запрещено.
Загрузчики, действующие по поручению человека, являются особым случаем. OpenAI сообщает, что, поскольку действия ChatGPT-User инициирует пользователь, правила robots.txt могут не применяться. Perplexity сообщает, что Perplexity-User, как правило, игнорирует правила robots.txt, потому что загрузку запросил пользователь. Meta сообщает, что meta-externalfetcher может обходить правила robots.txt, потому что выполняет загрузки, запрошенные пользователем.

Посмотрите, какие ИИ-краулеры действительно приходят

Ваш журнал доступа показывает, что приходит на самом деле. Приведённый ниже анализатор читает журнал nginx или Apache в вашем браузере и подсчитывает запросы ИИ-краулеров по краулеру и по назначению, с уникальными IP-адресами, кодами состояния, признаком того, загружал ли краулер robots.txt, и самыми запрашиваемыми путями. Сравните для каждого краулера, загружал ли он robots.txt и какие коды состояния получал, включая 429.

User-Agent — это лишь заявление, поэтому в подсчёте учтены запросы, которые называют себя этим краулером. Чтобы проверить, что запрос настоящий, сравните его исходный IP-адрес с диапазонами, которые публикует оператор. Инструмент не выполняет поиск по IP-адресам.

Попробовать: AI Bot Log Analyzer

Журнал доступа

Выбрать файл

Вставьте журнал, чтобы увидеть, какие ИИ-краулеры заходили.

User-Agent — это заявление, а не доказательство. Ту же строку может отправить кто угодно.

Чтобы убедиться, что запрос настоящий, сравните его IP-адрес источника с диапазонами, которые публикует оператор. Этот инструмент IP-адреса не проверяет.

Google-Extended и Applebot-Extended в журналах не появляются: это управляющие имена для robots.txt, а их запросы приходят от Googlebot и Applebot.

Читает комбинированный формат Apache и nginx, строки JSON с распространёнными именами полей и списки строк User-Agent.

Список краулеров сверен с документацией каждого оператора 2026-10-15.

Всё выполняется в вашем браузере. Журнал никуда не загружается.

Запишите свои предпочтения

Компании, занимающиеся ИИ, используют несколько видов краулеров: одни собирают данные для обучения, другие строят индекс для ИИ-поиска, третьи загружают страницу, когда об этом просит человек. Приведённый ниже генератор разделяет их, так что вы можете запретить обучение, не пропав из результатов ИИ-поиска, и составляет robots.txt по именам краулеров, которые задокументировал каждый оператор.