~/tools / AI Bot Log Analyzer
AI Bot Log Analyzer — Считает визиты ИИ-краулеров в журналах доступа
Вставьте журнал доступа веб-сервера и посмотрите, какие ИИ-краулеры заходили, что они загружали и как отвечал ваш сервер. Работает с журналами nginx и Apache и со строками JSON. Ничего не покидает ваш браузер.
Вставьте журнал, чтобы увидеть, какие ИИ-краулеры заходили.
User-Agent — это заявление, а не доказательство. Ту же строку может отправить кто угодно.
Чтобы убедиться, что запрос настоящий, сравните его IP-адрес источника с диапазонами, которые публикует оператор. Этот инструмент IP-адреса не проверяет.
Google-Extended и Applebot-Extended в журналах не появляются: это управляющие имена для robots.txt, а их запросы приходят от Googlebot и Applebot.
Читает комбинированный формат Apache и nginx, строки JSON с распространёнными именами полей и списки строк User-Agent.
Список краулеров сверен с документацией каждого оператора 2026-10-15.
Всё выполняется в вашем браузере. Журнал никуда не загружается.
Компании, занимающиеся ИИ, запускают краулеры нескольких видов: одни собирают данные для обучения, другие строят индекс для ИИ-поиска, третьи загружают страницу, когда об этом просит человек. В robots.txt с ними можно поступать по-разному, но то, что приходит на самом деле, показывают только ваши журналы. Инструмент читает журнал доступа, находит запросы, в User-Agent которых указан краулер из списка AI Crawler robots.txt Generator, и считает их по краулерам и по назначению: уникальные IP-адреса, коды состояния, загружался ли robots.txt и самые запрашиваемые пути. User-Agent — это лишь заявление, поэтому в подсчёте учтены запросы, которые называют себя этим краулером.
Когда пригодится
- Проверить, продолжают ли приходить краулеры, которых вы закрыли в robots.txt
- Убедиться, что краулеры ИИ-поиска могут загружать ваши страницы без ошибок
- Заметить похожий на бота User-Agent, которого нет в списке ИИ-краулеров
Как пользоваться
- Вставьте строки журнала или выберите файл журнала. Файл читается в вашем браузере.
- Изучите таблицу: одна строка на краулер с его назначением, числом запросов, уникальными IP и кодами состояния.
- Просмотрите остальные похожие на ботов User-Agent: нет ли среди них незнакомых названий.
Три вида ИИ-краулеров
| Назначение | Что делает | Примеры | robots.txt |
|---|---|---|---|
| Обучение | Собирает веб-контент для обучения моделей | GPTBot, ClaudeBot, meta-externalagent, CCBot | Операторы заявляют, что соблюдают его |
| ИИ-поиск | Строит индекс, который используется для ответов на вопросы | OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer | Операторы заявляют, что соблюдают его |
| По запросу пользователя | Загружает страницу, когда об этом просит человек | ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher | OpenAI, Perplexity и Meta заявляют, что он может не применяться; Anthropic заявляет, что Claude-User ему следует |
Блокировка одного вида не блокирует остальные. Например, если остановить краулер для обучения, вы не пропадёте из ИИ-поиска, у которого есть собственный краулер.
Как читать таблицу
- Запросы и уникальные IP: много запросов с одного адреса и несколько запросов со многих адресов означают разное, поэтому смотрите на оба показателя.
- Коды состояния: для поискового краулера ответы 4xx и 5xx означают, что ваши страницы не удалось загрузить, а значит, они не могут попасть в ответы.
- Столбец robots.txt: краулер, который загружает /robots.txt, по крайней мере читает ваши правила. RFC 9309 позволяет краулерам кэшировать файл, но говорит, что им не следует использовать копию старше 24 часов, если только файл недоступен, поэтому краулер, который никогда его не запрашивает, возможно, игнорирует правила.
- Другие похожие на ботов User-Agent: названия, которых нет в списке ИИ-краулеров. Здесь стоит искать краулеры, о которых вы не слышали.
User-Agent — это заявление
Ту же строку User-Agent может отправить кто угодно, поэтому подсчёт по названию — это подсчёт запросов, которые называют себя этим краулером. Чтобы проверить запрос, сравните его IP-адрес источника с тем, что публикует оператор.
- OpenAI, Perplexity, Anthropic и Common Crawl публикуют диапазоны IP-адресов своих краулеров. Anthropic отмечает, что блокировка по IP может ненадёжно исключать вас из обхода, и рекомендует robots.txt.
- Google описывает две проверки: обратный DNS-запрос по IP с последующим прямым запросом, который возвращает тот же адрес, либо сопоставление с опубликованными списками IP.
- Apple публикует IP-префиксы для Applebot и также описывает проверки обратным DNS.
- Документация краулера Meta не перечисляет диапазоны IP и говорит разрешить строки User-Agent или IP-адреса.
Чего журнал показать не может
- У Google-Extended нет собственной строки User-Agent, а Applebot-Extended не обходит веб-страницы. Оба лишь управляют тем, как используются данные, собранные Googlebot и Applebot, поэтому в журнале они никогда не появляются как имена.
- Запросы, на которые ответил кэш CDN или которые были остановлены до вашего сервера, в журнале исходного сервера отсутствуют.
Источники (проверено 2026-10-23): OpenAI: Overview of OpenAI crawlers / Anthropic: Does Anthropic crawl data from the web? / Perplexity: Perplexity crawlers / Meta: Web crawlers / Common Crawl: CCBot / Apple: About Applebot / Google: Google's common crawlers / Google: Verifying Googlebot / RFC 9309: Robots Exclusion Protocol
Вопросы
Какие форматы журналов поддерживаются?
Комбинированный формат Apache и nginx, по одному JSON-объекту в строке с распространёнными именами полей вроде http_user_agent, а также простые списки строк User-Agent, по одной в строке. Строки, которые не удаётся прочитать, подсчитываются и отображаются в отчёте.
Доказывает ли совпадение, что визит действительно был от этой компании?
Нет. User-Agent может задать кто угодно, поэтому запрос, называющий себя GPTBot, может прийти от кого-то другого. Ряд операторов публикует диапазоны IP-адресов своих краулеров, например OpenAI, Perplexity, Anthropic и Common Crawl, так что адрес источника запроса можно проверить. В документации краулера Meta такие диапазоны не указаны. Этот инструмент IP-адреса не проверяет.
Почему Google-Extended и Applebot-Extended не появляются?
Оба — управляющие имена для robots.txt, а не краулеры. Google сообщает, что у Google-Extended нет отдельной строки User-Agent, а Apple — что Applebot-Extended не обходит веб-страницы. Запросы приходят от Googlebot и Applebot, поэтому в журнале их не отличить.
Что означают назначения?
Обучение — это сбор данных для обучения моделей. Поиск — построение индекса для ответов ИИ-поиска. Пользовательский — загрузка, вызванная запросом человека; некоторые операторы заявляют, что такие загрузки могут не следовать robots.txt.
Почему у меня получилось меньше, чем в другом инструменте?
В журнале есть только то, что дошло до вашего сервера. Запросы, на которые ответил кэш CDN, или те, что были заблокированы до прихода, могут вообще не попасть в журнал исходного сервера.
Журнал загружается на сервер?
Нет. Чтение и подсчёт выполняются в вашем браузере. Строки сверх 200 000 не учитываются, чтобы страница оставалась отзывчивой.