~/tools / 埋め込みと検索(RAG) / RAG Citation Checker

RAG Citation Checker — RAG の回答の出典番号と引用文を、送った出典と照らして確認

RAG の回答の引用を、送った出典と照らして確認します。出典番号がすべて存在するか、引用文がその出典に含まれているかを調べ、出典番号のない文、一度も引用されなかった出典、途中で打ち切られた回答を一覧にします。Ollama の /api/chat のレスポンス(ストリーミングを含む)、OpenAI 互換のレスポンス、プレーンテキストを読めます。入力した内容はブラウザの外に出ません。

モデルが番号付きの出典をもとに答えたとき、その引用は機械的に確認できます。送ったものと同じ出典を、RAG Prompt Builder と同じ形式で貼り付け(文字列かオブジェクトのJSON配列、または --- の行か空行で区切ったテキスト。同じように [1] から番号が付きます)、そのあとに回答を貼り付けます。回答は、Ollama の /api/chat のレスポンス全体(ツールは message.content を取り出します。1行に1つのJSONオブジェクトが並ぶストリーミングのレスポンスは連結されます)、OpenAI 互換のレスポンス(choices[0].message.content)、またはテキストだけでもかまいません。RAG Prompt Builder が求める形の、回答と引用のリストを持つJSONであれば、ツールは各引用を確認します。出典番号は出典のどれかでなければならず、引用文はその出典に、そのままか、空白、大文字小文字、全角文字、曲がった引用符の違いを無視したうえで含まれているはずです。回答がテキストなら、ツールは [2] や [1, 3] のような角括弧の中の番号を集め、出典に対応しない番号を報告し、番号のない文を一覧にします。どちらの場合も、一度も引用されなかった出典を一覧にし、引用がまったくないとき、または done_reason が "length" のとき(回答が num_predict で打ち切られたという意味です)に警告します。できないのは、回答が正しいかどうかの判断です。qwen2.5:7b を使った私たちのテストでは、ある回答は出典の正しい規則を一字一句引用したのに誤った数字を答え、別の回答はわからないと言いながら無関係な出典を引用しました。ここで通る引用が示すのは、引用された文が出典にあるということだけです。

このツールの計算部分は、オープンソース(MIT ライセンス)で公開しています。 github.com/seigo5555/toolkitbox-lib/src/rag-citations.ts