~/ / Yapay zeka makaleleri / Yapay zekâ botları robots.txt'ye uyuyor mu? Cloudflare ölçmeye başladı ve kendi günlüklerinizi nasıl kontrol edersiniz
Yapay zekâ botları robots.txt'ye uyuyor mu? Cloudflare ölçmeye başladı ve kendi günlüklerinizi nasıl kontrol edersiniz
Cloudflare, 16 Ekim 2026'da Verified bots (doğrulanmış botlar) kategorisindeki botların robots.txt ve HTTP 429 yanıtları gibi site tercihlerine uyup uymadığını sürekli değerlendiren bir sistemi kullanıma sokacağını duyurdu. Bu makale duyuruyu özetler, robots.txt'nin neleri yapıp neleri yapamayacağını hatırlatır ve kendi erişim günlüğünüzü kontrol etmenizi, yapay zekâ tarayıcıları için de bir robots.txt yazmanızı sağlar.
Yayın: · 2026-10-24 tarihinde resmî kaynaklarla karşılaştırılarak kontrol edildi. Bu makale kaynakları özetler, onların yerini tutmaz.
Cloudflare ne duyurdu
- 16 Ekim 2026 tarihli yazı, Cloudflare'ın Verified bots'un site tercihlerine uyup uymadığını sürekli değerlendiren bir sistemi kullanıma soktuğunu söylüyor. Sistem şimdilik dahilî olarak kullanılıyor; Cloudflare onu tüm müşterilere sunmayı planlıyor ve müşteriler, Verified bot trafiğinin nasıl ele alınacağını belirleyen güven eşiğini kendileri seçecek.
- robots.txt, site sahibinin tercihlerini iletmenin birincil yolu olarak tanımlanıyor. Tekil ihlaller önemli olmayabilir; sistem, RFC 9309 ile uyumlu olarak yinelenen örüntülere bakıyor.
- HTTP 429 için sistem, bir botun yanıtı aldıktan sonra yavaşlayıp yavaşlamadığına, durup durmadığına ya da aynı hızda devam edip etmediğine bakıyor. Yavaşlamak veya durmak güveni artırıyor, sinyali tekrar tekrar yok saymak ise düşürüyor.
- Çıktı bir güven bandı; yani bir botun site tercihlerine ne kadar tutarlı uyduğunu gösteren bir aralık. Cloudflare, puanların gelecekte Radar'da herkese açık olarak paylaşılacağını söylüyor; yazıda sayısal bir ölçek veya eşik verilmiyor.
- Yazı, Perplexity'nin 2025'te, iddiaya göre dışlanmış kaynaklara eriştiği ve engelleri aşmaya çalıştığı için Verified bot listesinden çıkarıldığını söylüyor.
OpenAI ile ilgili bir pilot çalışma
- Cloudflare, 15 Ekim 2026'da OpenAI ile Temmuz 2026'da Cloudflare ağının yaklaşık %1'lik bir kümesiyle başlayan bir araştırma pilotunu anlattı. Cloudflare, OpenAI'ın arama tarayıcısına sinyaller sağlıyor; sayfaları değerlendirmeyi ve sıralamayı ise OpenAI kendisi yapıyor.
- Yazı, bu araştırmanın arama ve keşif için web hakkındaki üst verileri (metadata) kullandığını, model eğitimi için sayfa içeriğini paylaşmadığını ve bir sayfa hakkındaki bir sinyalin o sayfaya erişim izni vermediğini söylüyor.
- Yapay zekâ sistemlerinin bir siteye nasıl eriştiğini yönetmek için Cloudflare'ın AI Crawl Control özelliğine işaret ediyor.
robots.txt neleri yapabilir, neleri yapamaz
- Erişim denetimi değildir. RFC 9309, kuralların bir erişim yetkilendirmesi biçimi olmadığını söyler; yasaklanmış bir URL'yi yine de herkes isteyebilir.
- Dizinlemeyi değil, taramayı denetler. Google, robots.txt tarafından engellenen bir sayfanın arama sonuçlarında yine de açıklamasız olarak görünebileceğini söyler.
- 4xx durumuyla yanıt veren bir /robots.txt kullanılamıyor sayılır, bu nedenle bir tarayıcı her kaynağa erişebilir. 5xx ile yanıt veren ya da ulaşılamayan bir sunucu erişilemez sayılır, bu nedenle bir tarayıcı her şeyin yasak olduğunu varsaymalıdır.
- Bir kişi adına hareket eden getiriciler özel bir durumdur. OpenAI, ChatGPT-User eylemleri bir kullanıcı tarafından başlatıldığı için robots.txt kurallarının geçerli olmayabileceğini söyler. Perplexity, getirme isteği bir kullanıcıdan geldiği için Perplexity-User'ın robots.txt kurallarını genellikle yok saydığını söyler. Meta, meta-externalfetcher'ın bir kullanıcının istediği getirmeleri yaptığı için robots.txt kurallarını atlayabileceğini söyler.
Gerçekte hangi yapay zekâ tarayıcılarının uğradığını görün
Erişim günlüğünüz gerçekte neyin geldiğini gösterir. Aşağıdaki çözümleyici, tarayıcınızda bir nginx veya Apache günlüğünü okur ve yapay zekâ tarayıcılarından gelen istekleri tarayıcıya ve amaca göre sayar; ayrıca benzersiz IP adreslerini, durum kodlarını, tarayıcının robots.txt'yi getirip getirmediğini ve en çok istenen yolları gösterir. Her tarayıcı için robots.txt'yi getirip getirmediğini ve hangi durum kodlarını, 429 dahil, aldığını karşılaştırın.
User-Agent yalnızca bir iddiadır; bu yüzden sayılar, o tarayıcı olduğunu söyleyen isteklerdir. Bir isteğin gerçek olduğunu doğrulamak için kaynak IP adresini işletmecinin yayımladığı aralıklarla karşılaştırın. Araç IP adreslerini sorgulamaz.
Deneyin: AI Bot Log Analyzer
Hangi yapay zekâ tarama botlarının geldiğini görmek için bir günlük yapıştırın.
User-Agent bir beyandır, kanıt değildir. Aynı dizeyi herkes gönderebilir.
Bir isteğin gerçek olduğunu doğrulamak için kaynak IP adresini işleticinin yayımladığı aralıklarla karşılaştırın. Bu araç IP adreslerini sorgulamaz.
Google-Extended ve Applebot-Extended günlüklerde hiç görünmez: bunlar robots.txt için denetim adlarıdır ve istekleri Googlebot ile Applebot'tan gelir.
Apache ve nginx combined biçimini, yaygın alan adlı JSON satırlarını ve User-Agent dizesi listelerini okur.
Tarama botu listesi, 2026-10-15 tarihinde her işleticinin belgeleriyle karşılaştırılarak kontrol edildi.
Her şey tarayıcınızda çalışır. Günlük yüklenmez.
Tercihlerinizi yazın
Yapay zekâ şirketleri birkaç tür tarayıcı çalıştırır: bazıları eğitim verisi toplar, bazıları yapay zekâ araması için dizin oluşturur, bazıları da bir kişi istediğinde bir sayfayı getirir. Aşağıdaki üretici bunları birbirinden ayırır; böylece yapay zekâ arama sonuçlarından çıkmadan eğitimi yasaklayabilirsiniz ve her işletmecinin belgelediği tarayıcı adlarından bir robots.txt oluşturur.
Deneyin: AI Crawler robots.txt Generator
Hazır ayarlar
Adlar, 2026-10-15 tarihinde şirketlerin belgeleriyle karşılaştırıldı.
robots.txt
User-agent: GPTBot User-agent: ClaudeBot User-agent: Google-Extended User-agent: Applebot-Extended User-agent: meta-externalagent User-agent: CCBot Disallow: /
robots.txt, kurallara uyan tarayıcıların izlediği bir istektir. Onu yok sayan botu durdurmaz; bunun için güvenlik duvarı kullanın.