~/tools / Embeddingi i wyszukiwanie (RAG) / RAG Citation Checker

RAG Citation Checker — Sprawdź numery źródeł i cytaty w odpowiedzi RAG względem wysłanych źródeł

Sprawdź cytowania w odpowiedzi RAG względem wysłanych źródeł: każdy numer źródła musi istnieć, każdy cytat powinien występować w swoim źródle, a narzędzie wypisuje zdania bez numeru źródła, źródła, na które nikt się nie powołał, i odpowiedzi, które zostały ucięte. Czyta odpowiedzi /api/chat Ollamy (także strumieniowane), odpowiedzi zgodne z OpenAI i zwykły tekst. Nic nie opuszcza twojej przeglądarki.

Gdy model odpowiada na podstawie ponumerowanych źródeł, cytowania można sprawdzić mechanicznie. Wklej te same źródła, które wysłano, w tym samym formacie co w RAG Prompt Builder (tablica JSON ze stringami lub obiektami albo tekst rozdzielony liniami --- lub pustymi wierszami; są numerowane od [1] tak samo), i wklej odpowiedź. Odpowiedzią może być cała odpowiedź z /api/chat Ollamy (narzędzie bierze message.content; odpowiedź strumieniowana, z jednym obiektem JSON w wierszu, jest łączona), odpowiedź zgodna z OpenAI (choices[0].message.content) albo sam tekst. Jeśli odpowiedź to JSON z odpowiedzią i listą cytowań, o który prosi RAG Prompt Builder, narzędzie sprawdza każde cytowanie: numer źródła musi być jednym ze źródeł, a cytat powinien występować w tym źródle, dokładnie albo po pominięciu różnic w spacjach, wielkości liter, znakach pełnoszerokich i zakrzywionych cudzysłowach. Jeśli odpowiedź to tekst, narzędzie zbiera numery w nawiasach kwadratowych, takie jak [2] lub [1, 3], zgłasza numery, które nie odpowiadają żadnemu źródłu, i wypisuje zdania bez numeru. W obu przypadkach wypisuje źródła, na które nikt się nie powołał, i ostrzega, gdy nie ma żadnych cytowań albo gdy done_reason to "length", co oznacza, że odpowiedź została ucięta przez num_predict. Czego nie potrafi, to ocenić, czy odpowiedź jest prawidłowa. W naszym teście z qwen2.5:7b jedna odpowiedź zacytowała słowo w słowo prawidłową regułę ze swojego źródła i mimo to podała błędną liczbę, a inna powiedziała, że nie wie, ale powołała się na niezwiązane źródło. Cytowanie, które tu przejdzie, pokazuje tylko, że zacytowany tekst jest w źródle.

Główna logika tego narzędzia jest otwartoźródłowa, na licencji MIT. github.com/seigo5555/toolkitbox-lib/src/rag-citations.ts