~/tools / AI Bot Log Analyzer
AI Bot Log Analyzer — Conta le visite dei crawler di IA nei tuoi access log
Incolla un access log del server web per vedere quali crawler di IA sono passati, cosa hanno scaricato e come ha risposto il tuo server. Funziona con i log di nginx e Apache e con le righe JSON. Nulla lascia il tuo browser.
Incolla un log per vedere quali crawler di IA sono passati.
Uno User-Agent è una dichiarazione, non una prova. Chiunque può inviare la stessa stringa.
Per verificare che una richiesta sia autentica, confronta il suo indirizzo IP di origine con gli intervalli pubblicati dall'operatore. Questo strumento non cerca gli indirizzi IP.
Google-Extended e Applebot-Extended non compaiono mai nei log: sono nomi di controllo per robots.txt e le loro richieste arrivano da Googlebot e Applebot.
Legge il formato combined di Apache e nginx, righe JSON con nomi di campo comuni ed elenchi di stringhe User-Agent.
L'elenco dei crawler è stato confrontato con la documentazione di ogni operatore il 2026-10-15.
Tutto avviene nel tuo browser. Il log non viene caricato.
Le aziende di IA usano diversi tipi di crawler: alcuni raccolgono dati per l'addestramento, altri costruiscono un indice per la ricerca con IA, altri ancora scaricano una pagina quando una persona lo chiede. robots.txt può trattarli in modo diverso, ma solo i tuoi log mostrano cosa arriva davvero. Questo strumento legge un access log, trova le richieste il cui User-Agent nomina un crawler dell'elenco dell'AI Crawler robots.txt Generator e le conta per crawler e per scopo, con indirizzi IP unici, codici di stato, l'eventuale richiesta di robots.txt e i percorsi più richiesti. Lo User-Agent è solo una dichiarazione, quindi i conteggi sono richieste che dichiarano di essere quel crawler.
Casi d'uso
- Vedere se i crawler che hai bloccato in robots.txt continuano ad arrivare
- Verificare che i crawler della ricerca con IA riescano a scaricare le tue pagine senza errori
- Individuare uno User-Agent da bot che non è nell'elenco dell'IA
Utilizzo
- Incolla le righe del log oppure scegli un file di log. Il file viene letto nel tuo browser.
- Leggi la tabella: una riga per crawler, con scopo, richieste, IP unici e codici di stato.
- Scorri gli altri User-Agent simili a bot in cerca di nomi che non conosci.
Tre tipi di crawler di IA
| Scopo | Che cosa fa | Esempi | robots.txt |
|---|---|---|---|
| Addestramento | Raccoglie contenuti web per addestrare i modelli | GPTBot, ClaudeBot, meta-externalagent, CCBot | Gli operatori dichiarano di rispettarlo |
| Ricerca con IA | Costruisce un indice usato per rispondere alle domande | OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer | Gli operatori dichiarano di rispettarlo |
| Su richiesta dell'utente | Scarica una pagina quando una persona lo chiede | ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher | OpenAI, Perplexity e Meta dicono che potrebbe non valere; Anthropic dice che Claude-User lo rispetta |
Bloccare un tipo non blocca gli altri. Per esempio, fermare un crawler di addestramento non ti toglie dalla ricerca con IA, che ha un crawler proprio.
Come leggere la tabella
- Richieste e IP unici: molte richieste da un solo indirizzo e poche richieste da molti indirizzi significano cose diverse, quindi guarda entrambi i dati.
- Codici di stato: per un crawler di ricerca, risposte 4xx e 5xx significano che le tue pagine non sono state scaricabili, quindi non possono comparire nelle risposte.
- Colonna robots.txt: un crawler che richiede /robots.txt sta almeno leggendo le tue regole. La RFC 9309 permette ai crawler di tenere il file in cache ma dice che non dovrebbero usare una copia più vecchia di 24 ore, a meno che non sia raggiungibile, quindi un crawler che non lo chiede mai potrebbe ignorare le regole.
- Altri User-Agent simili a bot: nomi che non sono nell'elenco dell'IA. Sono un punto da cui cercare crawler di cui non hai mai sentito parlare.
Uno User-Agent è una dichiarazione
Chiunque può inviare la stessa stringa User-Agent, quindi un conteggio per nome è un conteggio di richieste che dichiarano di essere quel crawler. Per verificarne una, confronta il suo indirizzo IP di origine con ciò che pubblica l'operatore.
- OpenAI, Perplexity, Anthropic e Common Crawl pubblicano gli intervalli IP dei loro crawler. Anthropic osserva che il blocco per IP potrebbe non garantire l'esclusione e raccomanda robots.txt.
- Google descrive due controlli: una ricerca DNS inversa dell'IP seguita da una ricerca diretta che restituisce lo stesso indirizzo, oppure il confronto con i suoi elenchi di IP pubblicati.
- Apple pubblica i prefissi IP di Applebot e descrive anche controlli con DNS inverso.
- La documentazione del crawler di Meta non elenca intervalli IP e dice di consentire le stringhe User-Agent o gli indirizzi IP.
Che cosa un log non può mostrare
- Google-Extended non ha una stringa User-Agent propria, e Applebot-Extended non effettua il crawling delle pagine web. Entrambi controllano solo come vengono usati i dati raccolti da Googlebot e Applebot, quindi non compaiono mai per nome in un log.
- Le richieste servite dalla cache di una CDN, o fermate prima del tuo server, mancano nel log del tuo server di origine.
Fonti (verificate il 2026-10-23): OpenAI: Overview of OpenAI crawlers / Anthropic: Does Anthropic crawl data from the web? / Perplexity: Perplexity crawlers / Meta: Web crawlers / Common Crawl: CCBot / Apple: About Applebot / Google: Google's common crawlers / Google: Verifying Googlebot / RFC 9309: Robots Exclusion Protocol
FAQ
Quali formati di log funzionano?
Il formato combined di Apache e nginx, un oggetto JSON per riga con nomi di campo comuni come http_user_agent, e semplici elenchi di stringhe User-Agent, una per riga. Le righe che non riesce a leggere vengono contate e segnalate.
Una corrispondenza dimostra che la visita viene davvero da quell'azienda?
No. Uno User-Agent può essere impostato da chiunque, quindi una richiesta che dice di essere GPTBot può venire da qualcun altro. Diversi operatori pubblicano gli intervalli IP dei loro crawler, per esempio OpenAI, Perplexity, Anthropic e Common Crawl, così puoi controllare l'indirizzo di origine di una richiesta. La documentazione del crawler di Meta non ne elenca nessuno. Questo strumento non controlla gli indirizzi IP.
Perché Google-Extended e Applebot-Extended non compaiono?
Entrambi sono nomi di controllo per robots.txt, non crawler. Google dice che Google-Extended non ha una stringa User-Agent separata, e Apple dice che Applebot-Extended non effettua il crawling delle pagine web. Le richieste arrivano da Googlebot e Applebot, quindi in un log non si possono distinguere.
Che cosa significano gli scopi?
Addestramento significa raccogliere dati per addestrare i modelli. Ricerca significa costruire un indice per le risposte della ricerca con IA. Utente significa un download attivato dalla richiesta di una persona; alcuni operatori dichiarano che questi download potrebbero non seguire robots.txt.
Perché il mio conteggio è più basso che in un altro strumento?
Un log contiene solo ciò che è arrivato al tuo server. Le richieste servite dalla cache di una CDN, o bloccate prima di arrivare, possono non comparire mai nel log del tuo server di origine.
Il log viene caricato?
No. La lettura e il conteggio avvengono nel tuo browser. Le righe oltre le 200.000 non vengono contate, per mantenere la pagina reattiva.