~/tools / Embedding e ricerca (RAG) / RAG Citation Checker

RAG Citation Checker — Verifica numeri di fonte e citazioni di una risposta RAG con le fonti

Verifica le citazioni di una risposta RAG rispetto alle fonti che hai inviato: ogni numero di fonte deve esistere, ogni testo citato dovrebbe comparire nella sua fonte, e lo strumento elenca le frasi senza numero di fonte, le fonti mai citate e le risposte interrotte. Legge risposte di /api/chat di Ollama (anche in streaming), risposte compatibili con OpenAI e testo semplice. Nulla lascia il tuo browser.

Quando un modello risponde in base a fonti numerate, le citazioni si possono verificare in modo meccanico. Incolla le stesse fonti che hai inviato, nello stesso formato del RAG Prompt Builder (un array JSON di stringhe o di oggetti, oppure testo separato da righe con --- o da righe vuote; vengono numerate a partire da [1] allo stesso modo), e incolla la risposta. La risposta può essere la risposta completa di /api/chat di Ollama (lo strumento prende message.content; una risposta in streaming con un oggetto JSON per riga viene unita), una risposta compatibile con OpenAI (choices[0].message.content) oppure solo il testo. Se la risposta è JSON con una risposta e un elenco di citazioni, come lo chiede il RAG Prompt Builder, lo strumento verifica ogni citazione: il numero della fonte deve essere uno di quelli delle fonti, e il testo citato dovrebbe comparire in quella fonte, così com'è oppure ignorando le differenze di spazi, maiuscole e minuscole, caratteri a larghezza piena e virgolette tipografiche. Se la risposta è testo, lo strumento raccoglie i numeri tra parentesi quadre, come [2] o [1, 3], segnala i numeri che non corrispondono a nessuna fonte ed elenca le frasi che non hanno un numero. In entrambi i casi elenca le fonti mai citate e avvisa quando non ci sono citazioni, o quando done_reason è "length", il che significa che la risposta è stata interrotta da num_predict. Quello che non può fare è giudicare se la risposta è giusta. Nel nostro test con qwen2.5:7b, una risposta citava parola per parola la regola corretta della sua fonte e dava comunque un numero sbagliato, e un'altra risposta diceva di non saperlo ma citava una fonte senza attinenza. Una citazione che passa qui mostra soltanto che il testo citato è nella fonte.

La logica principale di questo strumento è open source, con licenza MIT. github.com/seigo5555/toolkitbox-lib/src/rag-citations.ts