~/ / Embeddings et recherche (RAG)

Embeddings et recherche (RAG)

Des outils pour construire pas à pas la génération augmentée par récupération (RAG). Découpez des documents en chunks, comparez des embeddings, stockez-les et recherchez-les dans PostgreSQL avec pgvector, construisez un prompt qui ne répond qu'à partir des sources, et vérifiez que les citations de la réponse y correspondent.

Les outils, dans l'ordre où on les utilise

  1. Découpez du texte en morceaux chevauchants pour le RAG et créez une requête /api/embed d'OllamaRAG Text ChunkerDécoupez un texte en morceaux qui se chevauchent et créez une requête /api/embed d'Ollama pour le RAG
  2. Comparez des vecteurs d'embeddings d'Ollama /api/embed : cosinus, produit scalaire, distanceEmbedding Similarity CalculatorComparez les vecteurs d'embeddings d'Ollama /api/embed : similarité cosinus, produit scalaire, distance
  3. Écrivez du SQL pgvector : table, index HNSW/IVFFlat et requête de voisinspgvector SQL BuilderÉcrivez du SQL pgvector : la table, un index HNSW ou IVFFlat et une requête de plus proches voisins
  4. Transformez résultats /api/embed et textes en INSERT pgvectorEmbeddings to pgvector INSERTTransformez les résultats de /api/embed d'Ollama et leurs textes en instructions INSERT pgvector
  5. Construit une requête /api/chat d'Ollama avec sources numérotées et citéesRAG Prompt BuilderConstruisez une requête /api/chat d'Ollama qui répond uniquement à partir de sources numérotées et les cite
  6. Vérifie les numéros de source et les citations d'une réponse RAGRAG Citation CheckerVérifiez que les numéros de source et les extraits cités d'une réponse RAG correspondent réellement aux sources

Articles sur ce thème

Autres sujets