Czy boty AI przestrzegają robots.txt? Cloudflare zaczął to mierzyć, a ty możesz sprawdzić własne logi

Co ogłosił Cloudflare

We wpisie z datą 16 października 2026 Cloudflare pisze, że wprowadza system stale oceniający, czy zweryfikowane boty (Verified bots) przestrzegają preferencji witryn. System jest na razie używany wewnętrznie, a Cloudflare planuje udostępnić go wszystkim klientom, którzy wybiorą próg zaufania decydujący o tym, jak traktowany jest ruch zweryfikowanych botów.
robots.txt jest opisany jako podstawowy sposób przekazywania preferencji właścicieli witryn. Pojedyncze naruszenia mogą nie mieć znaczenia, a system szuka powtarzalnych wzorców, zgodnie z RFC 9309.
W przypadku HTTP 429 system sprawdza, czy bot zwalnia, robi przerwę, czy utrzymuje to samo tempo po otrzymaniu odpowiedzi. Zwolnienie lub przerwa zwiększa zaufanie, a wielokrotne ignorowanie sygnału je obniża.
Wynikiem jest pasmo zaufania (trust band), zakres pokazujący, jak konsekwentnie bot szanuje preferencje witryn. Cloudflare mówi, że wyniki będą w przyszłości publicznie udostępniane w Radar, a wpis nie podaje skali liczbowej ani progów.
Wpis mówi, że Perplexity został usunięty z listy zweryfikowanych botów (Verified bots) w 2025 roku po tym, jak rzekomo uzyskiwał dostęp do zasobów, z których zrezygnowano, i próbował obejść blokady.

Powiązany pilotaż z OpenAI

15 października 2026 Cloudflare opisał pilotaż badawczy z OpenAI, który rozpoczął się w lipcu 2026 z grupą około 1% sieci Cloudflare. Cloudflare dostarcza sygnały robotowi wyszukiwarki OpenAI, a OpenAI samodzielnie ocenia i szereguje strony.
Wpis mówi, że to badanie wykorzystuje metadane o sieci do wyszukiwania i odkrywania treści, a nie udostępnianie treści stron do trenowania modeli, oraz że sygnał o stronie nie daje zgody na dostęp do niej.
Wskazuje na AI Crawl Control firmy Cloudflare do zarządzania tym, jak systemy AI uzyskują dostęp do witryny.

Co robots.txt potrafi, a czego nie

To nie jest kontrola dostępu. RFC 9309 mówi, że reguły nie są formą autoryzacji dostępu, a każdy nadal może zażądać niedozwolonego adresu URL.
Kontroluje crawlowanie, a nie indeksowanie. Google mówi, że strona zablokowana przez robots.txt nadal może pojawić się w wynikach wyszukiwania, bez opisu.
/robots.txt, który odpowiada statusem 4xx, jest traktowany jako niedostępny, więc robot może uzyskać dostęp do dowolnego zasobu. Status 5xx lub serwer, z którym nie można się połączyć, jest traktowany jako nieosiągalny, więc robot musi założyć, że wszystko jest zabronione.
Programy pobierające treści w imieniu osoby to szczególny przypadek. OpenAI mówi, że ponieważ działania ChatGPT-User są inicjowane przez użytkownika, reguły robots.txt mogą nie mieć zastosowania. Perplexity mówi, że Perplexity-User zazwyczaj ignoruje reguły robots.txt, ponieważ pobranie zlecił użytkownik. Meta mówi, że meta-externalfetcher może pomijać reguły robots.txt, ponieważ wykonuje pobrania zlecone przez użytkownika.

Zobacz, które roboty AI naprawdę odwiedzają witrynę

Twój log dostępu pokazuje, co faktycznie przychodzi. Poniższy analizator wczytuje w przeglądarce log nginx lub Apache i zlicza żądania od robotów AI według robota i celu, wraz z unikalnymi adresami IP, kodami statusu, informacją, czy robot pobrał robots.txt, oraz najczęściej żądanymi ścieżkami. Porównaj dla każdego robota, czy pobrał robots.txt i jakie kody statusu otrzymał, w tym 429.

User-Agent jest tylko deklaracją, więc liczby to żądania, które podają się za dany robot. Aby sprawdzić, czy żądanie jest prawdziwe, porównaj jego źródłowy adres IP z zakresami publikowanymi przez operatora. Narzędzie nie wyszukuje adresów IP.

Wypróbuj: AI Bot Log Analyzer

Log dostępu

Wybierz plik

Wklej log, aby zobaczyć, które roboty AI cię odwiedziły.

User-Agent to deklaracja, a nie dowód. Każdy może wysłać ten sam ciąg.

Aby sprawdzić, czy żądanie jest prawdziwe, porównaj jego źródłowy adres IP z zakresami publikowanymi przez operatora. To narzędzie nie sprawdza adresów IP.

Google-Extended i Applebot-Extended nigdy nie pojawiają się w logach: to nazwy sterujące dla robots.txt, a ich żądania pochodzą od Googlebot i Applebot.

Czyta format combined z Apache i nginx, JSON w wierszach z typowymi nazwami pól oraz listy ciągów User-Agent.

Listę robotów sprawdzono z dokumentacją każdego operatora dnia 2026-10-15.

Wszystko działa w twojej przeglądarce. Log nie jest wysyłany.

Zapisz swoje preferencje

Firmy AI uruchamiają kilka rodzajów robotów: jedne zbierają dane do trenowania, inne budują indeks dla wyszukiwania AI, a jeszcze inne pobierają stronę, gdy poprosi o to osoba. Poniższy generator rozdziela te rodzaje, więc możesz zabronić trenowania, nie znikając z wyników wyszukiwania AI, i buduje robots.txt z nazw robotów, które dokumentuje każdy operator.