~/tools / Embedding'ler ve arama (RAG) / RAG Citation Checker

RAG Citation Checker — Bir RAG yanıtındaki kaynak numaralarını ve alıntıları gönderilen kaynaklarla denetleyin

Bir RAG yanıtındaki atıfları gönderdiğiniz kaynaklarla karşılaştırarak denetleyin: her kaynak numarası var olmalı, her alıntı kendi kaynağında geçmeli; araç kaynak numarası olmayan cümleleri, hiç atıf yapılmayan kaynakları ve kesilmiş yanıtları listeler. Ollama /api/chat yanıtlarını (akışlı olanlar dahil), OpenAI uyumlu yanıtları ve düz metni okur. Hiçbir şey tarayıcınızdan çıkmaz.

Bir model numaralı kaynaklara dayanarak yanıt verdiğinde atıflar mekanik olarak denetlenebilir. Gönderdiğiniz kaynakların aynısını, RAG Prompt Builder'daki biçimde (string'lerden veya nesnelerden oluşan bir JSON dizisi, ya da --- satırlarıyla veya boş satırlarla ayrılmış metin; aynı şekilde [1]'den başlayarak numaralandırılırlar) yapıştırın ve yanıtı yapıştırın. Yanıt, Ollama'nın /api/chat uç noktasından gelen yanıtın tamamı (araç message.content alanını alır; satır başına bir JSON nesnesi içeren akışlı bir yanıt birleştirilir), OpenAI uyumlu bir yanıt (choices[0].message.content) ya da yalnızca metin olabilir. Yanıt, RAG Prompt Builder'ın istediği gibi bir yanıt ve bir atıf listesi içeren JSON ise araç her atıfı denetler: kaynak numarası kaynaklardan biri olmalı ve alıntı o kaynakta, aynen ya da boşluk, harf büyüklüğü, tam genişlikli karakter ve kıvrık tırnak farkları yok sayılarak geçmelidir. Yanıt metinse araç [2] ya da [1, 3] gibi köşeli parantez içindeki numaraları toplar, hiçbir kaynakla eşleşmeyen numaraları bildirir ve numarası olmayan cümleleri listeler. Her iki durumda da hiç atıf yapılmayan kaynakları listeler; hiç atıf yoksa ya da done_reason "length" ise, yani yanıt num_predict yüzünden kesilmişse uyarır. Yapamadığı şey, yanıtın doğru olup olmadığına karar vermektir. qwen2.5:7b ile yaptığımız testte bir yanıt, kaynağındaki doğru kuralı kelimesi kelimesine alıntıladı ve yine de yanlış bir sayı verdi; bir başkası bilmediğini söyledi ama ilgisiz bir kaynağa atıf yaptı. Burada geçen bir atıf yalnızca alıntılanan metnin kaynakta olduğunu gösterir.

Bu aracın temel mantığı MIT lisansıyla açık kaynaktır. github.com/seigo5555/toolkitbox-lib/src/rag-citations.ts