I bot di IA rispettano il robots.txt? Cloudflare ha iniziato a misurarlo, e come controllare i tuoi log

Cosa ha annunciato Cloudflare

Il post, datato 16 ottobre 2026, dice che Cloudflare sta introducendo un sistema per valutare in modo continuo se i Verified bots (bot verificati) rispettano le preferenze dei siti. Per ora il sistema è usato internamente, e Cloudflare prevede di renderlo disponibile a tutti i clienti, che sceglieranno la soglia di fiducia che decide come viene trattato il traffico dei bot verificati.
Il robots.txt è descritto come il modo principale per comunicare le preferenze dei proprietari dei siti. Le violazioni isolate potrebbero non contare, e il sistema cerca schemi ripetuti, in linea con la RFC 9309.
Per l'HTTP 429, il sistema verifica se un bot rallenta, si ferma o mantiene lo stesso ritmo dopo aver ricevuto la risposta. Rallentare o fermarsi aumenta la fiducia, mentre ignorare ripetutamente il segnale la diminuisce.
Il risultato è una fascia di fiducia, un intervallo che mostra quanto in modo coerente un bot rispetta le preferenze dei siti. Cloudflare dice che in futuro i punteggi saranno condivisi pubblicamente su Radar, e il post non fornisce una scala numerica né soglie.
Il post dice che Perplexity è stata rimossa dall'elenco dei Verified bots nel 2025 dopo aver presumibilmente acceduto a risorse per cui era stata espressa l'esclusione e aver cercato di aggirare i blocchi.

Un progetto pilota collegato con OpenAI

Il 15 ottobre 2026 Cloudflare ha descritto un progetto pilota di ricerca con OpenAI, iniziato a luglio 2026 con un gruppo di circa l'1% della rete di Cloudflare. Cloudflare fornisce segnali al crawler di ricerca di OpenAI, e OpenAI valuta e classifica le pagine in autonomia.
Il post dice che questa ricerca usa metadati sul web per la ricerca e la scoperta, anziché condividere il contenuto delle pagine per l'addestramento dei modelli, e che un segnale su una pagina non concede il permesso di accedervi.
Rimanda all'AI Crawl Control di Cloudflare per gestire il modo in cui i sistemi di IA accedono a un sito.

Cosa può e non può fare il robots.txt

Non è un controllo degli accessi. La RFC 9309 dice che le regole non sono una forma di autorizzazione all'accesso, e chiunque può comunque richiedere un URL vietato.
Controlla la scansione, non l'indicizzazione. Google dice che una pagina bloccata dal robots.txt può comunque comparire nei risultati di ricerca, senza descrizione.
Un /robots.txt che risponde con uno stato 4xx è trattato come non disponibile, quindi un crawler può accedere a qualsiasi risorsa. Un 5xx, o un server non raggiungibile, è trattato come irraggiungibile, quindi un crawler deve presumere che tutto sia vietato.
I fetcher che agiscono per conto di una persona sono un caso particolare. OpenAI dice che, poiché le azioni di ChatGPT-User sono avviate da un utente, le regole del robots.txt potrebbero non applicarsi. Perplexity dice che Perplexity-User in genere ignora le regole del robots.txt perché è stato un utente a richiedere il caricamento. Meta dice che meta-externalfetcher può aggirare le regole del robots.txt perché esegue caricamenti richiesti da un utente.

Vedi quali crawler di IA ti visitano davvero

Il tuo access log mostra cosa arriva davvero. L'analizzatore qui sotto legge un log di nginx o Apache nel tuo browser e conta le richieste dei crawler di IA per crawler e per scopo, con indirizzi IP unici, codici di stato, l'indicazione se il crawler ha richiesto il robots.txt e i percorsi più richiesti. Confronta, per ogni crawler, se ha richiesto il robots.txt e quali codici di stato ha ricevuto, incluso 429.

Uno User-Agent è solo una dichiarazione, quindi i conteggi sono richieste che dichiarano di essere quel crawler. Per verificare che una richiesta sia autentica, confronta il suo indirizzo IP di origine con gli intervalli che l'operatore pubblica. Lo strumento non cerca gli indirizzi IP.

Provalo: AI Bot Log Analyzer

Access log

Scegli un file

Incolla un log per vedere quali crawler di IA sono passati.

Uno User-Agent è una dichiarazione, non una prova. Chiunque può inviare la stessa stringa.

Per verificare che una richiesta sia autentica, confronta il suo indirizzo IP di origine con gli intervalli pubblicati dall'operatore. Questo strumento non cerca gli indirizzi IP.

Google-Extended e Applebot-Extended non compaiono mai nei log: sono nomi di controllo per robots.txt e le loro richieste arrivano da Googlebot e Applebot.

Legge il formato combined di Apache e nginx, righe JSON con nomi di campo comuni ed elenchi di stringhe User-Agent.

L'elenco dei crawler è stato confrontato con la documentazione di ogni operatore il 2026-10-15.

Tutto avviene nel tuo browser. Il log non viene caricato.

Scrivi le tue preferenze

Le aziende di IA gestiscono più tipi di crawler: alcuni raccolgono dati di addestramento, altri costruiscono un indice per la ricerca con IA, altri ancora caricano una pagina quando una persona lo chiede. Il generatore qui sotto li tiene separati, così puoi vietare l'addestramento senza uscire dai risultati della ricerca con IA, e crea un robots.txt a partire dai nomi dei crawler che ogni operatore documenta.