Halten sich KI-Bots an die robots.txt? Cloudflare hat begonnen zu messen, und so prüfen Sie Ihre eigenen Logs

Was Cloudflare angekündigt hat

Der Beitrag vom 16. Oktober 2026 sagt, Cloudflare führe ein System ein, das fortlaufend bewertet, ob Verifizierte Bots (Verified bots) die Vorgaben einer Website beachten. Das System wird vorerst intern genutzt, und Cloudflare plant, es allen Kunden zur Verfügung zu stellen; sie wählen dann die Vertrauensschwelle, die bestimmt, wie der Datenverkehr Verifizierter Bots behandelt wird.
Die robots.txt wird als der wichtigste Weg beschrieben, die Vorgaben der Website-Betreiber mitzuteilen. Einzelne Verstöße müssen keine Rolle spielen, und das System sucht nach wiederholten Mustern, im Einklang mit RFC 9309.
Bei HTTP 429 prüft das System, ob ein Bot nach der Antwort langsamer wird, pausiert oder das Tempo beibehält. Langsamer werden oder Pausieren erhöht das Vertrauen, und wiederholtes Ignorieren des Signals senkt es.
Das Ergebnis ist ein Vertrauensband, ein Bereich, der zeigt, wie konsequent ein Bot die Vorgaben einer Website respektiert. Cloudflare sagt, die Bewertungen würden künftig öffentlich auf Radar bereitgestellt, und der Beitrag nennt weder eine numerische Skala noch Schwellenwerte.
Der Beitrag sagt, Perplexity sei 2025 von der Liste der Verifizierten Bots (Verified bot) gestrichen worden, nachdem es angeblich auf Ressourcen zugegriffen habe, für die ein Opt-out galt, und versucht habe, Sperren zu umgehen.

Ein verwandtes Pilotprojekt mit OpenAI

Am 15. Oktober 2026 beschrieb Cloudflare ein Forschungspilotprojekt mit OpenAI, das im Juli 2026 mit einer Kohorte von etwa 1% des Netzwerks von Cloudflare begann. Cloudflare liefert Signale an den Suchcrawler von OpenAI, und OpenAI bewertet und rankt die Seiten selbst.
Der Beitrag sagt, diese Forschung nutze Metadaten über das Web für Suche und Entdeckung, statt Seiteninhalte für das Modelltraining weiterzugeben, und ein Signal zu einer Seite gewähre keine Erlaubnis, auf sie zuzugreifen.
Er verweist auf AI Crawl Control von Cloudflare, um zu steuern, wie KI-Systeme auf eine Website zugreifen.

Was die robots.txt leisten kann und was nicht

Sie ist keine Zugriffskontrolle. RFC 9309 sagt, die Regeln seien keine Form der Zugriffsautorisierung, und jeder kann eine gesperrte URL trotzdem abrufen.
Sie steuert das Crawlen, nicht die Indexierung. Google sagt, eine durch die robots.txt blockierte Seite könne trotzdem ohne Beschreibung in den Suchergebnissen erscheinen.
Eine /robots.txt, die mit einem 4xx-Status antwortet, gilt als nicht verfügbar, sodass ein Crawler auf jede Ressource zugreifen darf. Ein 5xx oder ein nicht erreichbarer Server gilt als unerreichbar, sodass ein Crawler annehmen muss, dass alles gesperrt ist.
Abrufprogramme, die im Auftrag einer Person handeln, sind ein Sonderfall. OpenAI sagt, da Aktionen von ChatGPT-User von einem Nutzer ausgelöst werden, gälten die Regeln der robots.txt möglicherweise nicht. Perplexity sagt, Perplexity-User ignoriere die Regeln der robots.txt in der Regel, weil ein Nutzer den Abruf angefordert habe. Meta sagt, meta-externalfetcher könne die Regeln der robots.txt umgehen, weil er Abrufe ausführe, die ein Nutzer angefordert habe.

Sehen Sie, welche KI-Crawler wirklich vorbeikommen

Ihr Zugriffslog zeigt, was tatsächlich ankommt. Der folgende Analyzer liest in Ihrem Browser ein nginx- oder Apache-Log und zählt Anfragen von KI-Crawlern nach Crawler und nach Zweck, mit eindeutigen IP-Adressen, Statuscodes, der Angabe, ob der Crawler die robots.txt abgerufen hat, und den am häufigsten angefragten Pfaden. Vergleichen Sie für jeden Crawler, ob er die robots.txt abgerufen hat und welche Statuscodes er erhalten hat, einschließlich 429.

Ein User-Agent ist nur eine Behauptung, die Zahlen sind also Anfragen, die angeben, dieser Crawler zu sein. Um zu prüfen, ob eine Anfrage echt ist, vergleichen Sie ihre Quell-IP-Adresse mit den Bereichen, die der Betreiber veröffentlicht. Das Tool schlägt keine IP-Adressen nach.

Jetzt ausprobieren: AI Bot Log Analyzer

Zugriffsprotokoll

Datei wählen

Fügen Sie ein Log ein, um zu sehen, welche KI-Crawler zu Besuch waren.

Ein User-Agent ist eine Behauptung, kein Beweis. Jeder kann denselben String senden.

Um zu prüfen, ob eine Anfrage echt ist, vergleichen Sie ihre Quell-IP-Adresse mit den Bereichen, die der Betreiber veröffentlicht. Dieses Tool schlägt keine IP-Adressen nach.

Google-Extended und Applebot-Extended erscheinen nie in Logs: Es sind Steuernamen für die robots.txt, und ihre Anfragen kommen von Googlebot und Applebot.

Liest das Combined-Format von Apache und nginx, JSON-Zeilen mit gängigen Feldnamen sowie Listen von User-Agent-Strings.

Die Crawler-Liste wurde am 2026-10-15 mit der Dokumentation der jeweiligen Betreiber abgeglichen.

Alles läuft in Ihrem Browser. Das Log wird nicht hochgeladen.

Schreiben Sie Ihre Vorgaben

KI-Unternehmen betreiben mehrere Arten von Crawlern: Manche sammeln Trainingsdaten, manche bauen einen Index für die KI-Suche auf, und manche rufen eine Seite ab, wenn eine Person darum bittet. Der folgende Generator hält diese getrennt, sodass Sie das Training sperren können, ohne aus den Ergebnissen der KI-Suche zu verschwinden, und er erstellt eine robots.txt aus den Crawler-Namen, die jeder Betreiber dokumentiert.