~/ / Embedding'ler ve arama (RAG)

Embedding'ler ve arama (RAG)

Almayla artırılmış üretimi (RAG) adım adım kurmak için araçlar. Belgeleri chunk'lara bölün, embedding'leri karşılaştırın, PostgreSQL'de pgvector ile saklayıp arayın, yalnızca kaynaklardan yanıt veren bir prompt hazırlayın ve yanıttaki alıntıların kaynaklarla uyuştuğunu denetleyin.

Araçlar, kullanım sırasına göre

  1. Metni örtüşen chunk'lara bölün ve RAG için Ollama /api/embed isteği oluşturunRAG Text ChunkerMetni örtüşen chunk'lara bölün ve RAG için bir Ollama /api/embed isteği oluşturun
  2. Ollama /api/embed çıktısındaki embedding vektörlerini karşılaştırın: kosinüs benzerliğiEmbedding Similarity CalculatorOllama /api/embed çıktısındaki embedding vektörlerini karşılaştırın: kosinüs benzerliği, nokta çarpımı, uzaklık
  3. pgvector SQL'i yazın: tablo, HNSW/IVFFlat indeksi ve komşu sorgusupgvector SQL Builderpgvector SQL'i yazın: tablo, bir HNSW veya IVFFlat indeksi ve en yakın komşu sorgusu
  4. Ollama /api/embed sonuçlarını ve metinleri pgvector INSERT'lerine çevirinEmbeddings to pgvector INSERTOllama /api/embed sonuçlarını ve metinlerini pgvector INSERT ifadelerine dönüştürün
  5. Yalnızca numaralı, atıflı kaynaklardan yanıtlayan Ollama /api/chat isteğiRAG Prompt BuilderYalnızca numaralı kaynaklara dayanarak yanıt veren ve onlara atıf yapan bir Ollama /api/chat isteği oluşturun
  6. Bir RAG yanıtındaki kaynak numaralarını ve alıntıları gönderilen kaynaklarla denetleyinRAG Citation CheckerBir RAG yanıtındaki kaynak numaralarının ve alıntıların kaynaklarla gerçekten eşleştiğini denetleyin

Bu konudaki makaleler

Diğer konular