~/tools / Embedding dan pencarian (RAG) / RAG Citation Checker

RAG Citation Checker — Periksa nomor sumber dan kutipan dalam jawaban RAG terhadap sumber yang dikirim

Periksa sitasi dalam jawaban RAG terhadap sumber yang Anda kirim: setiap nomor sumber harus ada, setiap kutipan seharusnya muncul di sumbernya, dan alat ini mendaftar kalimat tanpa nomor sumber, sumber yang tidak pernah dikutip, dan jawaban yang terpotong. Membaca respons /api/chat Ollama (termasuk yang di-stream), respons yang kompatibel dengan OpenAI, dan teks biasa. Tidak ada data yang keluar dari browser Anda.

Ketika model menjawab dari sumber bernomor, sitasinya dapat diperiksa secara mekanis. Tempelkan sumber yang sama dengan yang Anda kirim, dalam format yang sama seperti di RAG Prompt Builder (array JSON berisi string atau objek, atau teks yang dipisahkan baris --- atau baris kosong; sumbernya diberi nomor mulai dari [1] dengan cara yang sama), lalu tempelkan jawabannya. Jawaban bisa berupa seluruh respons dari /api/chat milik Ollama (alat ini mengambil message.content; respons yang di-stream dengan satu objek JSON per baris digabungkan), respons yang kompatibel dengan OpenAI (choices[0].message.content), atau hanya teksnya. Jika jawabannya berupa JSON berisi jawaban dan daftar sitasi, seperti yang diminta RAG Prompt Builder, alat ini memeriksa setiap sitasi: nomor sumbernya harus salah satu dari sumber yang ada, dan kutipannya seharusnya muncul di sumber itu, secara persis atau setelah mengabaikan perbedaan spasi, huruf besar-kecil, karakter lebar penuh, dan tanda kutip lengkung. Jika jawabannya berupa teks, alat ini mengumpulkan nomor dalam tanda kurung siku, seperti [2] atau [1, 3], melaporkan nomor yang tidak cocok dengan sumber mana pun, dan mendaftar kalimat yang tidak memiliki nomor. Dalam kedua kasus, alat ini mendaftar sumber yang tidak pernah dikutip dan memberi peringatan bila tidak ada sitasi sama sekali, atau bila done_reason adalah "length", yang berarti jawabannya terpotong oleh num_predict. Yang tidak dapat dilakukannya adalah menilai apakah jawabannya benar. Pada uji kami dengan qwen2.5:7b, satu jawaban mengutip aturan yang benar dari sumbernya kata demi kata dan tetap memberi angka yang salah, dan jawaban lain mengatakan tidak tahu tetapi mengutip sumber yang tidak terkait. Sitasi yang lolos di sini hanya menunjukkan bahwa teks yang dikutip ada di sumbernya.

Logika utama alat ini bersifat sumber terbuka dengan lisensi MIT. github.com/seigo5555/toolkitbox-lib/src/rag-citations.ts