~/tools / AI Bot Log Analyzer
AI Bot Log Analyzer — Erişim günlüklerinizdeki yapay zekâ botu ziyaretlerini sayın
Bir web sunucusu erişim günlüğünü yapıştırarak hangi yapay zekâ tarama botlarının geldiğini, neleri çektiğini ve sunucunuzun nasıl yanıt verdiğini görün. nginx ve Apache günlükleriyle JSON satırlarıyla çalışır. Hiçbir şey tarayıcınızdan çıkmaz.
Hangi yapay zekâ tarama botlarının geldiğini görmek için bir günlük yapıştırın.
User-Agent bir beyandır, kanıt değildir. Aynı dizeyi herkes gönderebilir.
Bir isteğin gerçek olduğunu doğrulamak için kaynak IP adresini işleticinin yayımladığı aralıklarla karşılaştırın. Bu araç IP adreslerini sorgulamaz.
Google-Extended ve Applebot-Extended günlüklerde hiç görünmez: bunlar robots.txt için denetim adlarıdır ve istekleri Googlebot ile Applebot'tan gelir.
Apache ve nginx combined biçimini, yaygın alan adlı JSON satırlarını ve User-Agent dizesi listelerini okur.
Tarama botu listesi, 2026-10-15 tarihinde her işleticinin belgeleriyle karşılaştırılarak kontrol edildi.
Her şey tarayıcınızda çalışır. Günlük yüklenmez.
Yapay zekâ şirketlerinin birkaç tür tarama botu vardır: bazıları eğitim verisi toplar, bazıları yapay zekâ araması için dizin oluşturur, bazıları da bir kişi istediğinde sayfa çeker. robots.txt bunlara farklı davranabilir, ama gerçekte ne geldiğini yalnızca günlükleriniz gösterir. Bu araç bir erişim günlüğünü okur, User-Agent'ı AI Crawler robots.txt Generator listesindeki bir tarama botunu belirten istekleri bulur ve bunları tarama botuna ve amaca göre sayar; ayrıca benzersiz IP adreslerini, durum kodlarını, robots.txt'yi çekip çekmediklerini ve en çok istenen yolları gösterir. User-Agent yalnızca bir beyandır; bu yüzden sayılar, o tarama botu olduğunu söyleyen isteklerin sayısıdır.
Kullanım örnekleri
- robots.txt'de engellediğiniz tarama botlarının hâlâ gelip gelmediğini görmek
- Yapay zekâ arama botlarının sayfalarınızı hatasız çekebildiğini kontrol etmek
- Yapay zekâ listesinde olmayan, bota benzeyen bir User-Agent'ı fark etmek
Nasıl kullanılır
- Günlük satırlarını yapıştırın ya da bir günlük dosyası seçin. Dosya tarayıcınızda okunur.
- Tabloyu okuyun: her tarama botu için bir satır; amacı, istek sayısı, benzersiz IP'leri ve durum kodları yer alır.
- Bilmediğiniz adlar için bota benzeyen diğer User-Agent'lara göz atın.
Üç tür yapay zekâ tarama botu
| Amaç | Ne yapar | Örnekler | robots.txt |
|---|---|---|---|
| Eğitim | Modelleri eğitmek için web içeriği toplar | GPTBot, ClaudeBot, meta-externalagent, CCBot | İşleticiler buna uyduklarını söylüyor |
| Yapay zekâ araması | Soruları yanıtlamakta kullanılan bir dizin oluşturur | OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer | İşleticiler buna uyduklarını söylüyor |
| Kullanıcı tetiklemeli | Bir kişi istediğinde sayfa çeker | ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher | OpenAI, Perplexity ve Meta bunun geçerli olmayabileceğini söylüyor; Anthropic, Claude-User'ın buna uyduğunu söylüyor |
Bir türü engellemek diğerlerini engellemez. Örneğin bir eğitim tarama botunu durdurmak, kendi tarama botu olan yapay zekâ aramasından sizi çıkarmaz.
Tabloyu okumak
- İstekler ve benzersiz IP'ler: tek bir adresten gelen çok sayıda istek ile çok sayıda adresten gelen az sayıda istek farklı anlamlara gelir; bu yüzden ikisine de bakın.
- Durum kodları: bir arama tarama botu için 4xx ve 5xx yanıtları sayfalarınızın çekilemediği anlamına gelir; dolayısıyla yanıtlarda yer alamazlar.
- robots.txt sütunu: /robots.txt dosyasını çeken bir tarama botu en azından kurallarınızı okuyordur. RFC 9309, tarama botlarının dosyayı önbelleğe almasına izin verir ama dosyaya ulaşılamıyorsa dışında 24 saatten eski bir kopyayı kullanmamaları gerektiğini söyler; yani hiç sormayan bir tarama botu kuralları yok sayıyor olabilir.
- Bota benzeyen diğer User-Agent'lar: yapay zekâ listesinde olmayan adlar. Hiç duymadığınız tarama botlarını aramak için bir yerdir.
User-Agent bir beyandır
Aynı User-Agent dizesini herkes gönderebilir; bu yüzden ada göre yapılan bir sayım, o tarama botu olduğunu söyleyen isteklerin sayımıdır. Birini doğrulamak için kaynak IP adresini işleticinin yayımladıklarıyla karşılaştırın.
- OpenAI, Perplexity, Anthropic ve Common Crawl tarama botları için IP aralıkları yayımlar. Anthropic, IP'ye göre engellemenin sizi güvenilir biçimde dışarıda bırakmayabileceğini belirtir ve robots.txt önerir.
- Google iki denetim tanımlar: IP'nin ters DNS sorgusu ve ardından aynı adresi döndüren bir ileri sorgu, ya da yayımladığı IP listeleriyle eşleştirme.
- Apple, Applebot için IP önekleri yayımlar ve ayrıca ters DNS denetimlerini anlatır.
- Meta tarama botu belgeleri IP aralıklarını listelemez; User-Agent dizelerine ya da IP adreslerine izin vermenizi söyler.
Bir günlüğün gösteremedikleri
- Google-Extended'ın kendi User-Agent dizesi yoktur ve Applebot-Extended web sayfalarını taramaz. İkisi de yalnızca Googlebot ve Applebot'un topladığı verinin nasıl kullanılacağını denetler; bu yüzden günlükte ad olarak hiç görünmezler.
- Bir CDN önbelleğinden yanıtlanan ya da sunucunuza ulaşmadan durdurulan istekler, kaynak sunucu günlüğünüzde yer almaz.
Kaynaklar (2026-10-23 tarihinde kontrol edildi): OpenAI: Overview of OpenAI crawlers / Anthropic: Does Anthropic crawl data from the web? / Perplexity: Perplexity crawlers / Meta: Web crawlers / Common Crawl: CCBot / Apple: About Applebot / Google: Google's common crawlers / Google: Verifying Googlebot / RFC 9309: Robots Exclusion Protocol
SSS
Hangi günlük biçimleri çalışır?
Apache ve nginx combined biçimi, http_user_agent gibi yaygın alan adlarıyla satır başına bir JSON nesnesi ve her satırda bir User-Agent dizesi bulunan düz listeler. Okuyamadığı satırlar sayılır ve bildirilir.
Bir eşleşme, ziyaretin gerçekten o şirketten geldiğini kanıtlar mı?
Hayır. User-Agent'ı herkes ayarlayabilir; bu yüzden GPTBot olduğunu söyleyen bir istek başkasından gelebilir. Birkaç işletici tarama botlarının IP aralıklarını yayımlar, örneğin OpenAI, Perplexity, Anthropic ve Common Crawl; böylece bir isteğin kaynak adresini kontrol edebilirsiniz. Meta tarama botu belgelerinde hiçbir aralık listelenmez. Bu araç IP adreslerini kontrol etmez.
Google-Extended ve Applebot-Extended neden görünmüyor?
İkisi de robots.txt için denetim adlarıdır, tarama botu değildir. Google, Google-Extended'ın ayrı bir User-Agent dizesi olmadığını söyler; Apple de Applebot-Extended'ın web sayfalarını taramadığını söyler. İstekler Googlebot ve Applebot'tan gelir; bu yüzden günlükte ayırt edilemezler.
Amaçlar ne anlama geliyor?
Eğitim, modelleri eğitmek için veri toplamak demektir. Arama, yapay zekâ arama yanıtları için dizin oluşturmak demektir. Kullanıcı, bir kişinin isteğiyle tetiklenen çekmeleri anlatır; bazı işleticiler bu çekmelerin robots.txt'ye uymayabileceğini belirtir.
Sayım neden başka bir araçtakinden düşük?
Bir günlük yalnızca sunucunuza ulaşanı içerir. Bir CDN önbelleğinden yanıtlanan ya da ulaşmadan engellenen istekler kaynak sunucu günlüğünüzde hiç görünmeyebilir.
Günlük yükleniyor mu?
Hayır. Okuma ve sayma tarayıcınızda olur. Sayfa yanıt verir kalsın diye 200.000 satırdan sonrası sayılmaz.