~/ / Embedding dan pencarian (RAG)

Embedding dan pencarian (RAG)

Tool untuk membangun retrieval-augmented generation (RAG) selangkah demi selangkah. Pecah dokumen menjadi chunk, bandingkan embedding, simpan dan cari di PostgreSQL dengan pgvector, buat prompt yang menjawab hanya dari sumber, dan periksa apakah kutipan dalam jawaban cocok dengan sumbernya.

Tool, sesuai urutan pemakaian

  1. Pecah teks untuk RAG dan susun permintaan Ollama /api/embedRAG Text ChunkerPecah teks menjadi chunk yang saling tumpang tindih dan susun permintaan Ollama /api/embed untuk RAG
  2. Bandingkan vektor embedding dari Ollama /api/embedEmbedding Similarity CalculatorBandingkan vektor embedding dari Ollama /api/embed: kemiripan kosinus, hasil kali titik, jarak
  3. Tulis SQL pgvector: tabel, indeks HNSW/IVFFlat, dan kueri nearest neighborpgvector SQL BuilderTulis SQL pgvector: tabel, indeks HNSW atau IVFFlat, dan kueri nearest neighbor
  4. Ubah hasil /api/embed Ollama dan teks menjadi INSERT untuk pgvectorEmbeddings to pgvector INSERTUbah hasil /api/embed Ollama dan teksnya menjadi pernyataan INSERT untuk pgvector
  5. Buat permintaan /api/chat Ollama yang menjawab dari sumber bernomor dan bersitasiRAG Prompt BuilderBuat permintaan /api/chat Ollama yang menjawab hanya dari sumber bernomor dan mengutipnya
  6. Periksa nomor sumber dan kutipan dalam jawaban RAG terhadap sumber yang dikirimRAG Citation CheckerPeriksa bahwa nomor sumber dan kutipan dalam jawaban RAG benar-benar cocok dengan sumbernya

Artikel tentang topik ini

Topik lainnya