~/tools / AI Bot Log Analyzer
AI Bot Log Analyzer — Hitung kunjungan perayap AI di log akses Anda
Tempelkan log akses server web untuk melihat perayap AI mana yang berkunjung, apa yang diambilnya, dan bagaimana server Anda menjawab. Mendukung log nginx dan Apache serta JSON lines. Tidak ada data yang keluar dari browser Anda.
Tempelkan log untuk melihat perayap AI mana yang berkunjung.
User-Agent adalah klaim, bukan bukti. Siapa pun dapat mengirim string yang sama.
Untuk memastikan sebuah permintaan asli, bandingkan alamat IP sumbernya dengan rentang yang diterbitkan operator. Alat ini tidak mencari alamat IP.
Google-Extended dan Applebot-Extended tidak pernah muncul di log: keduanya adalah nama kontrol untuk robots.txt, dan permintaannya datang dari Googlebot dan Applebot.
Membaca format combined Apache dan nginx, JSON lines dengan nama field umum, dan daftar string User-Agent.
Daftar perayap diperiksa terhadap dokumentasi masing-masing operator pada 2026-10-15.
Semuanya berjalan di browser Anda. Log tidak diunggah.
Perusahaan AI menjalankan beberapa jenis perayap: ada yang mengumpulkan data pelatihan, ada yang membangun indeks untuk pencarian AI, dan ada yang mengambil halaman ketika seseorang memintanya. robots.txt bisa memperlakukan masing-masing secara berbeda, tetapi hanya log Anda yang menunjukkan apa yang benar-benar datang. Alat ini membaca log akses, mencari permintaan yang User-Agent-nya menyebut perayap dari daftar AI Crawler robots.txt Generator, lalu menghitungnya per perayap dan per tujuan, lengkap dengan alamat IP unik, kode status, apakah perayap itu mengambil robots.txt, dan path yang paling sering diminta. User-Agent hanyalah klaim, jadi angka yang ditampilkan adalah jumlah permintaan yang menyebut dirinya perayap tersebut.
Kapan dipakai
- Melihat apakah perayap yang Anda blokir di robots.txt masih berdatangan
- Memastikan perayap pencarian AI dapat mengambil halaman Anda tanpa error
- Menemukan User-Agent mirip bot yang tidak ada di daftar AI
Cara pakai
- Tempelkan baris log, atau pilih file log. File dibaca di browser Anda.
- Baca tabelnya: satu baris per perayap, lengkap dengan tujuan, jumlah permintaan, IP unik, dan kode status.
- Telusuri User-Agent mirip bot lainnya untuk mencari nama yang tidak Anda kenal.
Tiga jenis perayap AI
| Tujuan | Fungsinya | Contoh | robots.txt |
|---|---|---|---|
| Pelatihan | Mengumpulkan konten web untuk melatih model | GPTBot, ClaudeBot, meta-externalagent, CCBot | Operator menyatakan mereka mengikutinya |
| Pencarian AI | Membangun indeks yang dipakai untuk menjawab pertanyaan | OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer | Operator menyatakan mereka mengikutinya |
| Dipicu pengguna | Mengambil halaman ketika seseorang memintanya | ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher | OpenAI, Perplexity, dan Meta menyatakan aturan ini mungkin tidak berlaku; Anthropic menyatakan Claude-User mengikutinya |
Memblokir satu jenis tidak memblokir jenis lainnya. Misalnya, menghentikan perayap pelatihan tidak mengeluarkan Anda dari pencarian AI, yang punya perayap sendiri.
Cara membaca tabel
- Permintaan dan IP unik: banyak permintaan dari satu alamat dan sedikit permintaan dari banyak alamat berarti hal yang berbeda, jadi lihat keduanya.
- Kode status: untuk perayap pencarian, jawaban 4xx dan 5xx berarti halaman Anda tidak bisa diambil, sehingga tidak dapat muncul di jawaban.
- Kolom robots.txt: perayap yang mengambil /robots.txt setidaknya membaca aturan Anda. RFC 9309 mengizinkan perayap menyimpan file itu di cache tetapi menyatakan mereka sebaiknya tidak memakai salinan yang lebih tua dari 24 jam kecuali file tidak dapat dijangkau, jadi perayap yang tidak pernah memintanya mungkin mengabaikan aturan.
- User-Agent mirip bot lainnya: nama yang tidak ada di daftar AI. Di sinilah Anda bisa mencari perayap yang belum pernah Anda dengar.
User-Agent adalah klaim
Siapa pun dapat mengirim string User-Agent yang sama, sehingga hitungan berdasarkan nama adalah hitungan permintaan yang mengaku sebagai perayap itu. Untuk memeriksanya, bandingkan alamat IP sumbernya dengan yang diterbitkan operator.
- OpenAI, Perplexity, Anthropic, dan Common Crawl menerbitkan rentang IP untuk perayap mereka. Anthropic mencatat bahwa memblokir berdasarkan IP mungkin tidak andal untuk menolak perayapan dan merekomendasikan robots.txt.
- Google menjelaskan dua pemeriksaan: pencarian reverse DNS atas IP yang diikuti pencarian forward yang mengembalikan alamat yang sama, atau pencocokan dengan daftar IP yang diterbitkannya.
- Apple menerbitkan prefiks IP untuk Applebot dan juga menjelaskan pemeriksaan reverse DNS.
- Dokumentasi perayap Meta tidak mencantumkan rentang IP, dan menyatakan agar string User-Agent atau alamat IP diizinkan.
Yang tidak bisa ditunjukkan log
- Google-Extended tidak memiliki string User-Agent sendiri, dan Applebot-Extended tidak merayapi halaman web. Keduanya hanya mengontrol cara data yang dikumpulkan Googlebot dan Applebot dipakai, sehingga tidak pernah muncul sebagai nama di log.
- Permintaan yang dijawab oleh cache CDN, atau yang dihentikan sebelum sampai ke server Anda, tidak ada di log origin Anda.
Sumber (diperiksa 2026-10-23): OpenAI: Overview of OpenAI crawlers / Anthropic: Does Anthropic crawl data from the web? / Perplexity: Perplexity crawlers / Meta: Web crawlers / Common Crawl: CCBot / Apple: About Applebot / Google: Google's common crawlers / Google: Verifying Googlebot / RFC 9309: Robots Exclusion Protocol
Tanya jawab
Format log apa saja yang didukung?
Format combined Apache dan nginx, satu objek JSON per baris dengan nama field umum seperti http_user_agent, serta daftar string User-Agent biasa, satu per baris. Baris yang tidak bisa dibaca dihitung dan dilaporkan.
Apakah kecocokan membuktikan bahwa kunjungan itu benar-benar dari perusahaan tersebut?
Tidak. User-Agent bisa diatur oleh siapa saja, sehingga permintaan yang mengaku GPTBot bisa saja berasal dari pihak lain. Beberapa operator menerbitkan rentang IP perayap mereka, misalnya OpenAI, Perplexity, Anthropic, dan Common Crawl, sehingga Anda bisa memeriksa alamat sumber sebuah permintaan. Dokumentasi perayap Meta tidak mencantumkannya. Alat ini tidak memeriksa alamat IP.
Mengapa Google-Extended dan Applebot-Extended tidak muncul?
Keduanya adalah nama kontrol untuk robots.txt, bukan perayap. Google menyatakan Google-Extended tidak memiliki string User-Agent tersendiri, dan Apple menyatakan Applebot-Extended tidak merayapi halaman web. Permintaannya datang dari Googlebot dan Applebot, sehingga tidak bisa dibedakan di dalam log.
Apa arti tujuan-tujuan itu?
Pelatihan berarti mengumpulkan data untuk melatih model. Pencarian berarti membangun indeks untuk jawaban pencarian AI. Pengguna berarti pengambilan yang dipicu oleh permintaan seseorang; sebagian operator menyatakan bahwa pengambilan seperti ini mungkin tidak mengikuti robots.txt.
Mengapa jumlahnya lebih rendah daripada di alat lain?
Log hanya berisi apa yang sampai ke server Anda. Permintaan yang dijawab dari cache CDN, atau yang diblokir sebelum tiba, mungkin tidak pernah muncul di log origin Anda.
Apakah lognya diunggah?
Tidak. Pembacaan dan penghitungan berlangsung di browser Anda. Baris di atas 200.000 tidak dihitung agar halaman tetap responsif.