~/tools / 임베딩과 검색(RAG) / RAG Citation Checker

RAG Citation Checker — RAG 답변의 출처 번호와 인용문을 보낸 출처와 대조해 확인

RAG 답변의 인용을 보낸 출처와 대조해 확인합니다. 모든 출처 번호가 존재해야 하고, 모든 인용문이 해당 출처에 들어 있어야 하며, 도구는 출처 번호가 없는 문장, 한 번도 인용되지 않은 출처, 도중에 잘린 답변을 나열합니다. Ollama /api/chat 응답(스트리밍 응답 포함), OpenAI 호환 응답, 일반 텍스트를 읽습니다. 입력한 내용은 브라우저 밖으로 나가지 않습니다.

모델이 번호를 붙인 출처로 답했다면 인용은 기계적으로 확인할 수 있습니다. 보낸 것과 같은 출처를 RAG Prompt Builder와 같은 형식(문자열이나 객체의 JSON 배열, 또는 --- 줄이나 빈 줄로 구분한 텍스트이며, 같은 방식으로 [1]부터 번호가 붙습니다)으로 붙여 넣고, 이어서 답변을 붙여 넣으세요. 답변은 Ollama /api/chat의 응답 전체(도구는 message.content를 가져오며, 한 줄에 JSON 객체 하나씩인 스트리밍 응답은 이어 붙입니다), OpenAI 호환 응답(choices[0].message.content), 또는 텍스트만이어도 됩니다. 답변이 RAG Prompt Builder가 요구하는 대로 답변과 인용 목록을 담은 JSON이면, 도구는 각 인용을 확인합니다. 출처 번호는 출처 중 하나여야 하고, 인용문은 그대로 또는 공백, 대소문자, 전각 문자, 둥근 따옴표의 차이를 무시하고 그 출처에 들어 있어야 합니다. 답변이 텍스트이면 도구는 [2]나 [1, 3]처럼 대괄호 안의 번호를 모아 출처와 맞지 않는 번호를 알리고, 번호가 없는 문장을 나열합니다. 두 경우 모두 한 번도 인용되지 않은 출처를 나열하며, 인용이 전혀 없을 때나 done_reason이 "length"일 때(답변이 num_predict에서 잘렸다는 뜻입니다) 경고합니다. 도구가 할 수 없는 것은 답변이 맞는지 판단하는 일입니다. qwen2.5:7b로 한 우리의 테스트에서, 한 답변은 출처의 올바른 규칙을 한 글자도 다르지 않게 인용하고도 틀린 숫자를 답했고, 다른 답변은 모른다고 하면서도 관련 없는 출처를 인용했습니다. 여기서 통과한 인용은 인용된 텍스트가 출처에 있다는 것만 보여 줍니다.

이 도구의 핵심 로직은 MIT 라이선스의 오픈 소스로 공개되어 있습니다. github.com/seigo5555/toolkitbox-lib/src/rag-citations.ts