Apakah bot AI mematuhi robots.txt? Cloudflare mulai mengukurnya, dan cara memeriksa log Anda sendiri

Apa yang diumumkan Cloudflare

Tulisan bertanggal 16 Oktober 2026 itu mengatakan Cloudflare memperkenalkan sebuah sistem untuk terus-menerus mengevaluasi apakah Verified bots (bot terverifikasi) menghormati preferensi situs. Sistem ini untuk sementara dipakai secara internal, dan Cloudflare berencana menyediakannya bagi semua pelanggan, yang akan memilih ambang kepercayaan yang menentukan bagaimana lalu lintas Verified bot ditangani.
robots.txt digambarkan sebagai cara utama untuk menyampaikan preferensi pemilik situs. Pelanggaran yang berdiri sendiri mungkin tidak berarti, dan sistem ini mencari pola yang berulang, sejalan dengan RFC 9309.
Untuk HTTP 429, sistem memeriksa apakah sebuah bot memperlambat, menjeda, atau tetap pada kecepatan yang sama setelah menerima respons tersebut. Memperlambat atau menjeda menaikkan kepercayaan, dan mengabaikan sinyal itu berulang kali menurunkannya.
Keluarannya adalah trust band (pita kepercayaan), sebuah rentang yang menunjukkan seberapa konsisten sebuah bot menghormati preferensi situs. Cloudflare mengatakan skor akan dibagikan secara publik di Radar pada masa mendatang, dan tulisan itu tidak menyebutkan skala numerik atau ambang batas.
Tulisan itu mengatakan Perplexity dikeluarkan dari daftar Verified bot pada 2025 setelah diduga mengakses sumber daya yang telah memilih keluar (opt-out) dan mencoba menghindari pemblokiran.

Uji coba terkait dengan OpenAI

Pada 15 Oktober 2026 Cloudflare menjelaskan sebuah uji coba riset bersama OpenAI yang dimulai pada Juli 2026 dengan kohort sekitar 1% dari jaringan Cloudflare. Cloudflare menyediakan sinyal untuk perayap pencarian OpenAI, dan OpenAI sendiri yang mengevaluasi serta memberi peringkat halaman.
Tulisan itu mengatakan riset ini memakai metadata tentang web untuk pencarian dan penemuan, bukan membagikan isi halaman untuk pelatihan model, dan bahwa sinyal tentang sebuah halaman tidak memberikan izin untuk mengaksesnya.
Tulisan itu merujuk pada AI Crawl Control milik Cloudflare untuk mengelola cara sistem AI mengakses sebuah situs.

Apa yang bisa dan tidak bisa dilakukan robots.txt

robots.txt bukan kontrol akses. RFC 9309 mengatakan aturan itu bukan bentuk otorisasi akses, dan siapa pun tetap dapat meminta URL yang dilarang.
robots.txt mengatur perayapan, bukan pengindeksan. Google mengatakan halaman yang diblokir oleh robots.txt masih bisa muncul di hasil pencarian, tanpa deskripsi.
/robots.txt yang dijawab dengan status 4xx dianggap tidak tersedia, sehingga perayap boleh mengakses sumber daya apa pun. Status 5xx, atau server yang tidak dapat dijangkau, dianggap tidak terjangkau, sehingga perayap harus menganggap semuanya dilarang.
Fetcher yang bertindak atas nama seseorang adalah kasus khusus. OpenAI mengatakan bahwa karena tindakan ChatGPT-User dimulai oleh pengguna, aturan robots.txt mungkin tidak berlaku. Perplexity mengatakan Perplexity-User umumnya mengabaikan aturan robots.txt karena pengguna yang meminta pengambilan itu. Meta mengatakan meta-externalfetcher dapat melewati aturan robots.txt karena ia melakukan pengambilan yang diminta pengguna.

Lihat perayap AI mana yang benar-benar datang

Log akses Anda menunjukkan apa yang sebenarnya datang. Penganalisis di bawah ini membaca log nginx atau Apache di browser Anda dan menghitung permintaan dari perayap AI menurut perayap dan tujuannya, lengkap dengan alamat IP unik, kode status, apakah perayap mengambil robots.txt, dan path yang paling sering diminta. Bandingkan, untuk tiap perayap, apakah ia mengambil robots.txt dan kode status apa yang diterimanya, termasuk 429.

User-Agent hanyalah klaim, jadi angka yang ditampilkan adalah permintaan yang mengaku sebagai perayap tersebut. Untuk memastikan sebuah permintaan asli, bandingkan alamat IP sumbernya dengan rentang yang dipublikasikan operatornya. Alat ini tidak mencari alamat IP.

Coba sekarang: AI Bot Log Analyzer

Log akses

Pilih file

Tempelkan log untuk melihat perayap AI mana yang berkunjung.

User-Agent adalah klaim, bukan bukti. Siapa pun dapat mengirim string yang sama.

Untuk memastikan sebuah permintaan asli, bandingkan alamat IP sumbernya dengan rentang yang diterbitkan operator. Alat ini tidak mencari alamat IP.

Google-Extended dan Applebot-Extended tidak pernah muncul di log: keduanya adalah nama kontrol untuk robots.txt, dan permintaannya datang dari Googlebot dan Applebot.

Membaca format combined Apache dan nginx, JSON lines dengan nama field umum, dan daftar string User-Agent.

Daftar perayap diperiksa terhadap dokumentasi masing-masing operator pada 2026-10-15.

Semuanya berjalan di browser Anda. Log tidak diunggah.

Tulis preferensi Anda

Perusahaan AI menjalankan beberapa jenis perayap: ada yang mengumpulkan data pelatihan, ada yang membangun indeks untuk pencarian AI, dan ada yang mengambil halaman ketika seseorang memintanya. Pembuat di bawah ini memisahkan ketiganya, sehingga Anda dapat melarang pelatihan tanpa keluar dari hasil pencarian AI, dan ia menyusun robots.txt dari nama perayap yang didokumentasikan oleh masing-masing operator.