~/tools / Embeddings und Suche (RAG) / RAG Citation Checker

RAG Citation Checker — Quellennummern und Zitate einer RAG-Antwort anhand der Quellen prüfen

Prüft die Zitate einer RAG-Antwort anhand der Quellen, die Sie gesendet haben: Jede Quellennummer muss existieren, jede zitierte Textstelle sollte in ihrer Quelle vorkommen, und das Tool listet Sätze ohne Quellennummer, nie zitierte Quellen und abgeschnittene Antworten auf. Liest Antworten von /api/chat von Ollama (auch gestreamte), OpenAI-kompatible Antworten und reinen Text. Nichts verlässt Ihren Browser.

Wenn ein Modell anhand nummerierter Quellen antwortet, lassen sich die Zitate maschinell prüfen. Fügen Sie dieselben Quellen ein, die Sie gesendet haben, im selben Format wie im RAG Prompt Builder (ein JSON-Array aus Strings oder Objekten oder Text, der durch Zeilen mit --- oder durch Leerzeilen getrennt ist; sie werden auf dieselbe Weise ab [1] nummeriert), und fügen Sie die Antwort ein. Die Antwort kann die vollständige Antwort von /api/chat von Ollama sein (das Tool nimmt message.content; eine gestreamte Antwort mit einem JSON-Objekt pro Zeile wird zusammengefügt), eine OpenAI-kompatible Antwort (choices[0].message.content) oder nur der Text. Ist die Antwort JSON mit einer Antwort und einer Liste von Zitaten, wie es der RAG Prompt Builder anfordert, prüft das Tool jedes Zitat: Die Quellennummer muss eine der Quellen sein, und die zitierte Textstelle sollte in dieser Quelle vorkommen, entweder genau so oder unter Ignorieren von Unterschieden bei Leerzeichen, Groß- und Kleinschreibung, Zeichen in voller Breite und typografischen Anführungszeichen. Ist die Antwort Text, sammelt das Tool die Nummern in eckigen Klammern, etwa [2] oder [1, 3], meldet Nummern, die zu keiner Quelle passen, und listet die Sätze ohne Nummer auf. In beiden Fällen listet es die Quellen auf, die nie zitiert wurden, und warnt, wenn es überhaupt keine Zitate gibt oder wenn done_reason "length" ist, was bedeutet, dass die Antwort durch num_predict abgeschnitten wurde. Was es nicht kann, ist zu beurteilen, ob die Antwort richtig ist. In unserem Test mit qwen2.5:7b zitierte eine Antwort die richtige Regel aus ihrer Quelle Wort für Wort und nannte trotzdem eine falsche Zahl, und eine andere Antwort sagte, sie wisse es nicht, zitierte aber eine Quelle ohne Bezug. Ein Zitat, das hier besteht, zeigt nur, dass die zitierte Textstelle in der Quelle steht.

Die Kernlogik dieses Tools ist Open Source unter der MIT-Lizenz. github.com/seigo5555/toolkitbox-lib/src/rag-citations.ts