~/tools / AI Bot Log Analyzer
AI Bot Log Analyzer — Policz wizyty robotów AI w logach dostępu
Wklej log dostępu serwera WWW, aby zobaczyć, które roboty AI cię odwiedziły, co pobrały i jak odpowiedział twój serwer. Działa z logami nginx i Apache oraz z JSON w wierszach. Nic nie opuszcza twojej przeglądarki.
Wklej log, aby zobaczyć, które roboty AI cię odwiedziły.
User-Agent to deklaracja, a nie dowód. Każdy może wysłać ten sam ciąg.
Aby sprawdzić, czy żądanie jest prawdziwe, porównaj jego źródłowy adres IP z zakresami publikowanymi przez operatora. To narzędzie nie sprawdza adresów IP.
Google-Extended i Applebot-Extended nigdy nie pojawiają się w logach: to nazwy sterujące dla robots.txt, a ich żądania pochodzą od Googlebot i Applebot.
Czyta format combined z Apache i nginx, JSON w wierszach z typowymi nazwami pól oraz listy ciągów User-Agent.
Listę robotów sprawdzono z dokumentacją każdego operatora dnia 2026-10-15.
Wszystko działa w twojej przeglądarce. Log nie jest wysyłany.
Firmy z branży AI uruchamiają kilka rodzajów robotów: jedne zbierają dane do trenowania, inne budują indeks dla wyszukiwania AI, a jeszcze inne pobierają stronę, gdy ktoś o to poprosi. robots.txt może traktować je różnie, ale to, co faktycznie przychodzi, widać dopiero w logach. To narzędzie czyta log dostępu, znajduje żądania, w których User-Agent wymienia robota z listy generatora AI Crawler robots.txt Generator, i liczy je według robota i celu, razem z unikalnymi adresami IP, kodami statusu, informacją o pobraniu robots.txt oraz najczęściej żądanymi ścieżkami. User-Agent to tylko deklaracja, więc wyniki to liczba żądań, które podają się za danego robota.
Zastosowania
- Sprawdzenie, czy roboty zablokowane w robots.txt nadal się pojawiają
- Upewnienie się, że roboty wyszukiwania AI mogą pobierać twoje strony bez błędów
- Wypatrzenie User-Agenta podobnego do bota, którego nie ma na liście AI
Jak używać
- Wklej wiersze logu albo wybierz plik logu. Plik jest czytany w twojej przeglądarce.
- Przeczytaj tabelę: jeden wiersz na robota, z jego celem, liczbą żądań, unikalnymi IP i kodami statusu.
- Przejrzyj pozostałe User-Agenty podobne do botów pod kątem nazw, których nie znasz.
Trzy rodzaje robotów AI
| Cel | Co robi | Przykłady | robots.txt |
|---|---|---|---|
| Trenowanie | Zbiera treści z sieci do trenowania modeli | GPTBot, ClaudeBot, meta-externalagent, CCBot | Operatorzy podają, że go przestrzegają |
| Wyszukiwanie AI | Buduje indeks używany do odpowiadania na pytania | OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer | Operatorzy podają, że go przestrzegają |
| Wywołane przez użytkownika | Pobiera stronę, gdy ktoś o to poprosi | ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher | OpenAI, Perplexity i Meta podają, że może nie obowiązywać; Anthropic podaje, że Claude-User go przestrzega |
Zablokowanie jednego rodzaju nie blokuje pozostałych. Na przykład zatrzymanie robota do trenowania nie usuwa cię z wyszukiwania AI, które ma własnego robota.
Jak czytać tabelę
- Żądania i unikalne IP: wiele żądań z jednego adresu i kilka żądań z wielu adresów znaczą co innego, więc patrz na oba.
- Kody statusu: dla robota wyszukiwania odpowiedzi 4xx i 5xx oznaczają, że twoich stron nie dało się pobrać, więc nie mogą pojawić się w odpowiedziach.
- Kolumna robots.txt: robot, który pobiera /robots.txt, przynajmniej czyta twoje reguły. RFC 9309 pozwala robotom buforować plik, ale mówi, że nie powinny używać kopii starszej niż 24 godziny, chyba że plik jest niedostępny, więc robot, który nigdy o niego nie prosi, może ignorować reguły.
- Inne User-Agenty podobne do botów: nazwy, których nie ma na liście AI. To miejsce, w którym warto szukać robotów, o których nie słyszałeś.
User-Agent to deklaracja
Każdy może wysłać ten sam ciąg User-Agent, więc zestawienie według nazwy to liczba żądań, które podają się za danego robota. Aby to sprawdzić, porównaj źródłowy adres IP z tym, co publikuje operator.
- OpenAI, Perplexity, Anthropic i Common Crawl publikują zakresy IP swoich robotów. Anthropic zaznacza, że blokowanie według IP może nie zapewniać niezawodnej rezygnacji, i zaleca robots.txt.
- Google opisuje dwie kontrole: zapytanie odwrotne DNS o adres IP, po którym następuje zapytanie wprost zwracające ten sam adres, albo dopasowanie do opublikowanych list IP.
- Apple publikuje prefiksy IP dla Applebot i opisuje także kontrole z użyciem odwrotnego DNS.
- Dokumentacja robota Meta nie podaje zakresów IP i mówi, aby zezwolić na ciągi User-Agent lub na adresy IP.
Czego log nie pokaże
- Google-Extended nie ma własnego ciągu User-Agent, a Applebot-Extended nie pobiera stron internetowych. Oba tylko sterują tym, jak wykorzystywane są dane zebrane przez Googlebot i Applebot, więc nigdy nie pojawiają się w logu jako nazwy.
- Żądań obsłużonych z pamięci podręcznej CDN albo zatrzymanych przed twoim serwerem nie ma w logu serwera źródłowego.
Źródła (sprawdzono 2026-10-23): OpenAI: Overview of OpenAI crawlers / Anthropic: Does Anthropic crawl data from the web? / Perplexity: Perplexity crawlers / Meta: Web crawlers / Common Crawl: CCBot / Apple: About Applebot / Google: Google's common crawlers / Google: Verifying Googlebot / RFC 9309: Robots Exclusion Protocol
FAQ
Jakie formaty logów są obsługiwane?
Format combined z Apache i nginx, po jednym obiekcie JSON w wierszu z typowymi nazwami pól, takimi jak http_user_agent, oraz zwykłe listy ciągów User-Agent, po jednym w wierszu. Wiersze, których nie da się odczytać, są liczone i zgłaszane.
Czy dopasowanie dowodzi, że wizyta naprawdę pochodziła od tej firmy?
Nie. User-Agent może ustawić każdy, więc żądanie, które podaje się za GPTBot, może pochodzić od kogoś innego. Kilku operatorów publikuje zakresy adresów IP swoich robotów, na przykład OpenAI, Perplexity, Anthropic i Common Crawl, więc można sprawdzić adres źródłowy żądania. Dokumentacja robota Meta żadnych nie podaje. To narzędzie nie sprawdza adresów IP.
Dlaczego nie ma Google-Extended ani Applebot-Extended?
Oba to nazwy sterujące dla robots.txt, a nie roboty. Google podaje, że Google-Extended nie ma osobnego ciągu User-Agent, a Apple, że Applebot-Extended nie pobiera stron internetowych. Żądania pochodzą od Googlebot i Applebot, więc w logu nie da się ich odróżnić.
Co oznaczają cele?
Trenowanie oznacza zbieranie danych do trenowania modeli. Wyszukiwanie oznacza budowanie indeksu dla odpowiedzi wyszukiwania AI. Użytkownik oznacza pobranie wywołane prośbą osoby; niektórzy operatorzy podają, że takie pobrania mogą nie stosować się do robots.txt.
Dlaczego moja liczba jest niższa niż w innym narzędziu?
Log zawiera tylko to, co dotarło do twojego serwera. Żądania obsłużone z pamięci podręcznej CDN albo zablokowane, zanim dotrą, mogą w ogóle nie pojawić się w logu serwera źródłowego.
Czy log jest wysyłany?
Nie. Odczyt i liczenie odbywają się w twojej przeglądarce. Wiersze ponad 200 000 nie są liczone, aby strona pozostała responsywna.