~/tools / 嵌入與搜尋（RAG） / RAG Citation Checker

RAG Citation Checker — 對照你送出的來源，檢查 RAG 回答中的來源編號與引文

把 RAG 回答中的引用與你送出的來源對照檢查：每個來源編號都必須存在，每段引文都應出現在對應的來源中，工具並列出沒有來源編號的句子、從未被引用的來源，以及被截斷的回答。可讀取 Ollama /api/chat 的回應（包含串流回應）、相容 OpenAI 的回應與純文字。內容不會離開你的瀏覽器。

當模型根據編號的來源回答時，引用可以用機械的方式檢查。請貼上你送出的相同來源，格式與 RAG Prompt Builder 相同（字串或物件的 JSON 陣列，或以 --- 行或空白行分隔的文字；編號同樣從 [1] 開始），再貼上回答。回答可以是 Ollama /api/chat 的整份回應（工具會取出 message.content；每行一個 JSON 物件的串流回應會被接在一起）、相容 OpenAI 的回應（choices[0].message.content），或只是文字。如果回答是 RAG Prompt Builder 所要求的、內含回答與引用清單的 JSON，工具會檢查每一筆引用：來源編號必須是這些來源之一，而引文應出現在該來源中，可以是完全相同，也可以是忽略空白、大小寫、全形字元與彎引號的差異之後相同。如果回答是文字，工具會收集方括號中的編號，例如 [2] 或 [1, 3]，回報與來源不符的編號，並列出沒有編號的句子。兩種情況下，它都會列出從未被引用的來源，並在完全沒有引用，或 done_reason 為 "length"（表示回答被 num_predict 截斷）時發出警告。它做不到的是判斷回答是否正確。在我們用 qwen2.5:7b 做的測試中，有一則回答逐字引用了來源中的正確規則，卻仍給出錯誤的數字，另一則回答說不知道，卻引用了一個無關的來源。在這裡通過的引用，只表示被引用的文字在來源中。

這個工具的核心邏輯以 MIT 授權開放原始碼。 github.com/seigo5555/toolkitbox-lib/src/rag-citations.ts