~/tools / AI Bot Log Analyzer
AI Bot Log Analyzer — KI-Crawler-Besuche in Ihren Zugriffslogs zählen
Fügen Sie das Zugriffsprotokoll eines Webservers ein und sehen Sie, welche KI-Crawler zu Besuch waren, was sie abgerufen haben und wie Ihr Server geantwortet hat. Funktioniert mit nginx- und Apache-Logs sowie JSON-Zeilen. Nichts verlässt Ihren Browser.
Fügen Sie ein Log ein, um zu sehen, welche KI-Crawler zu Besuch waren.
Ein User-Agent ist eine Behauptung, kein Beweis. Jeder kann denselben String senden.
Um zu prüfen, ob eine Anfrage echt ist, vergleichen Sie ihre Quell-IP-Adresse mit den Bereichen, die der Betreiber veröffentlicht. Dieses Tool schlägt keine IP-Adressen nach.
Google-Extended und Applebot-Extended erscheinen nie in Logs: Es sind Steuernamen für die robots.txt, und ihre Anfragen kommen von Googlebot und Applebot.
Liest das Combined-Format von Apache und nginx, JSON-Zeilen mit gängigen Feldnamen sowie Listen von User-Agent-Strings.
Die Crawler-Liste wurde am 2026-10-15 mit der Dokumentation der jeweiligen Betreiber abgeglichen.
Alles läuft in Ihrem Browser. Das Log wird nicht hochgeladen.
KI-Unternehmen betreiben mehrere Arten von Crawlern: Manche sammeln Trainingsdaten, manche bauen einen Index für die KI-Suche auf, und manche rufen eine Seite ab, wenn eine Person darum bittet. Die robots.txt kann sie unterschiedlich behandeln, doch nur Ihre Logs zeigen, was tatsächlich ankommt. Dieses Tool liest ein Zugriffsprotokoll, findet die Anfragen, deren User-Agent einen Crawler aus der Liste des AI Crawler robots.txt Generators nennt, und zählt sie nach Crawler und nach Zweck, dazu eindeutige IP-Adressen, Statuscodes, ob die robots.txt abgerufen wurde, und die am häufigsten angefragten Pfade. Ein User-Agent ist nur eine Behauptung; die Zahlen sind also Anfragen, die von sich sagen, dass sie von diesem Crawler stammen.
Anwendungsfälle
- Prüfen, ob die in der robots.txt gesperrten Crawler trotzdem noch kommen
- Sicherstellen, dass KI-Suchcrawler Ihre Seiten fehlerfrei abrufen können
- Einen botartigen User-Agent entdecken, der nicht auf der KI-Liste steht
Verwendung
- Fügen Sie Logzeilen ein oder wählen Sie eine Logdatei. Die Datei wird in Ihrem Browser gelesen.
- Lesen Sie die Tabelle: eine Zeile pro Crawler, mit Zweck, Anfragen, eindeutigen IPs und Statuscodes.
- Sehen Sie sich die anderen botartigen User-Agents an, ob Namen darunter sind, die Sie nicht kennen.
Drei Arten von KI-Crawlern
| Zweck | Was er tut | Beispiele | robots.txt |
|---|---|---|---|
| Training | Sammelt Webinhalte zum Training von Modellen | GPTBot, ClaudeBot, meta-externalagent, CCBot | Die Betreiber geben an, sie zu befolgen |
| KI-Suche | Baut einen Index auf, der zur Beantwortung von Fragen dient | OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer | Die Betreiber geben an, sie zu befolgen |
| Nutzerausgelöst | Ruft eine Seite ab, wenn eine Person darum bittet | ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher | OpenAI, Perplexity und Meta geben an, dass sie möglicherweise nicht gilt; Anthropic gibt an, dass Claude-User sie befolgt |
Das Sperren einer Art sperrt die anderen nicht. Wer zum Beispiel einen Trainings-Crawler aussperrt, verschwindet dadurch nicht aus der KI-Suche, die einen eigenen Crawler hat.
Die Tabelle lesen
- Anfragen und eindeutige IPs: Viele Anfragen von einer Adresse und wenige Anfragen von vielen Adressen bedeuten Unterschiedliches, betrachten Sie also beides.
- Statuscodes: Bei einem Suchcrawler bedeuten Antworten mit 4xx und 5xx, dass Ihre Seiten nicht abgerufen werden konnten und deshalb nicht in Antworten erscheinen können.
- Spalte robots.txt: Ein Crawler, der /robots.txt abruft, liest zumindest Ihre Regeln. RFC 9309 erlaubt Crawlern, die Datei zwischenzuspeichern, sagt aber, dass sie keine Kopie verwenden sollen, die älter als 24 Stunden ist, es sei denn, die Datei ist nicht erreichbar. Ein Crawler, der nie nachfragt, ignoriert die Regeln also womöglich.
- Weitere botartige User-Agents: Namen, die nicht auf der KI-Liste stehen. Hier lassen sich Crawler finden, von denen Sie noch nie gehört haben.
Ein User-Agent ist eine Behauptung
Jeder kann denselben User-Agent-String senden, die Zählung nach Namen zählt also Anfragen, die von sich sagen, dieser Crawler zu sein. Um das zu prüfen, vergleichen Sie die Quell-IP-Adresse mit dem, was der Betreiber veröffentlicht.
- OpenAI, Perplexity, Anthropic und Common Crawl veröffentlichen IP-Bereiche ihrer Crawler. Anthropic weist darauf hin, dass das Sperren per IP einen Opt-out möglicherweise nicht zuverlässig bewirkt, und empfiehlt die robots.txt.
- Google beschreibt zwei Prüfungen: eine Reverse-DNS-Abfrage der IP, gefolgt von einer Vorwärtsabfrage, die dieselbe Adresse liefert, oder den Abgleich mit seinen veröffentlichten IP-Listen.
- Apple veröffentlicht IP-Präfixe für Applebot und beschreibt ebenfalls Reverse-DNS-Prüfungen.
- Die Dokumentation zum Meta-Crawler nennt keine IP-Bereiche und sagt, man solle die User-Agent-Strings oder die IP-Adressen zulassen.
Was ein Log nicht zeigen kann
- Google-Extended hat keinen eigenen User-Agent-String, und Applebot-Extended ruft keine Webseiten ab. Beide steuern nur, wie die von Googlebot und Applebot gesammelten Daten verwendet werden, und erscheinen daher nie als Namen in einem Log.
- Anfragen, die aus einem CDN-Cache beantwortet oder vor Ihrem Server gestoppt wurden, fehlen im Log Ihres Ursprungsservers.
Quellen (geprüft am 2026-10-23): OpenAI: Overview of OpenAI crawlers / Anthropic: Does Anthropic crawl data from the web? / Perplexity: Perplexity crawlers / Meta: Web crawlers / Common Crawl: CCBot / Apple: About Applebot / Google: Google's common crawlers / Google: Verifying Googlebot / RFC 9309: Robots Exclusion Protocol
FAQ
Welche Logformate funktionieren?
Das Combined-Format von Apache und nginx, ein JSON-Objekt pro Zeile mit gängigen Feldnamen wie http_user_agent sowie einfache Listen von User-Agent-Strings, eine pro Zeile. Zeilen, die sich nicht lesen lassen, werden gezählt und gemeldet.
Beweist ein Treffer, dass der Besuch wirklich von diesem Unternehmen kam?
Nein. Einen User-Agent kann jeder setzen, daher kann eine Anfrage, die sich als GPTBot ausgibt, von jemand anderem stammen. Mehrere Betreiber veröffentlichen die IP-Bereiche ihrer Crawler, zum Beispiel OpenAI, Perplexity, Anthropic und Common Crawl, sodass Sie die Quelladresse einer Anfrage prüfen können. In der Dokumentation zum Meta-Crawler sind keine aufgeführt. Dieses Tool prüft keine IP-Adressen.
Warum tauchen Google-Extended und Applebot-Extended nicht auf?
Beides sind Steuernamen für die robots.txt, keine Crawler. Laut Google hat Google-Extended keinen eigenen User-Agent-String, und laut Apple ruft Applebot-Extended keine Webseiten ab. Die Anfragen kommen von Googlebot und Applebot und lassen sich in einem Log daher nicht unterscheiden.
Was bedeuten die Zwecke?
Training bedeutet, Daten zum Training von Modellen zu sammeln. Suche bedeutet, einen Index für Antworten der KI-Suche aufzubauen. Nutzer bedeutet einen Abruf, der durch die Anfrage einer Person ausgelöst wird; manche Betreiber geben an, dass diese Abrufe die robots.txt möglicherweise nicht befolgen.
Warum ist meine Zahl niedriger als in einem anderen Tool?
Ein Log enthält nur, was Ihren Server erreicht hat. Anfragen, die aus einem CDN-Cache beantwortet oder vorher blockiert wurden, tauchen im Log Ihres Ursprungsservers womöglich nie auf.
Wird das Log hochgeladen?
Nein. Lesen und Zählen geschehen in Ihrem Browser. Zeilen über 200.000 hinaus werden nicht gezählt, damit die Seite bedienbar bleibt.