~/tools / Embedding và tìm kiếm (RAG) / RAG Citation Checker

RAG Citation Checker — Kiểm tra số nguồn và đoạn trích trong câu trả lời RAG so với các nguồn đã gửi

Kiểm tra các trích dẫn trong một câu trả lời RAG so với các nguồn bạn đã gửi: mọi số nguồn phải tồn tại, mọi đoạn trích nên xuất hiện trong nguồn của nó, và công cụ liệt kê các câu không có số nguồn, các nguồn chưa bao giờ được trích dẫn và các câu trả lời bị cắt giữa chừng. Đọc được phản hồi /api/chat của Ollama (kể cả phản hồi truyền luồng), phản hồi tương thích OpenAI và văn bản thuần. Không có gì rời khỏi trình duyệt của bạn.

Khi một mô hình trả lời từ các nguồn có đánh số, các trích dẫn có thể được kiểm tra một cách máy móc. Hãy dán chính các nguồn bạn đã gửi, theo cùng định dạng như trong RAG Prompt Builder (một mảng JSON các chuỗi hoặc đối tượng, hoặc văn bản được ngăn cách bằng các dòng --- hay các dòng trống; chúng được đánh số từ [1] theo cùng cách), rồi dán câu trả lời. Câu trả lời có thể là toàn bộ phản hồi từ /api/chat của Ollama (công cụ lấy message.content; một phản hồi truyền luồng với mỗi dòng là một đối tượng JSON sẽ được nối lại), một phản hồi tương thích OpenAI (choices[0].message.content), hoặc chỉ là văn bản. Nếu câu trả lời là JSON có câu trả lời và một danh sách các trích dẫn, như RAG Prompt Builder yêu cầu, công cụ sẽ kiểm tra từng trích dẫn: số nguồn phải là một trong các nguồn, và đoạn trích nên xuất hiện trong nguồn đó, hoặc giống hệt, hoặc sau khi bỏ qua khác biệt về khoảng trắng, chữ hoa chữ thường, ký tự toàn chiều rộng và dấu nháy cong. Nếu câu trả lời là văn bản, công cụ thu thập các số trong ngoặc vuông, chẳng hạn [2] hoặc [1, 3], báo các số không khớp với nguồn nào, và liệt kê các câu không có số. Trong cả hai trường hợp, nó liệt kê các nguồn chưa bao giờ được trích dẫn và cảnh báo khi hoàn toàn không có trích dẫn, hoặc khi done_reason là "length", nghĩa là câu trả lời đã bị num_predict cắt giữa chừng. Điều nó không làm được là đánh giá câu trả lời có đúng hay không. Trong thử nghiệm của chúng tôi với qwen2.5:7b, một câu trả lời trích đúng từng chữ quy tắc từ nguồn của nó mà vẫn đưa ra một con số sai, và một câu trả lời khác nói là không biết nhưng vẫn trích dẫn một nguồn không liên quan. Một trích dẫn qua được kiểm tra ở đây chỉ cho thấy văn bản được trích có trong nguồn.

Phần xử lý chính của công cụ này là mã nguồn mở theo giấy phép MIT. github.com/seigo5555/toolkitbox-lib/src/rag-citations.ts