~/ / Embeddings y búsqueda (RAG)

Embeddings y búsqueda (RAG)

Herramientas para construir paso a paso la generación aumentada por recuperación (RAG). Divide documentos en chunks, compara embeddings, guárdalos y búscalos en PostgreSQL con pgvector, crea un prompt que responda solo a partir de las fuentes y comprueba que las citas de la respuesta coinciden con ellas.

Herramientas, en el orden en que se usan

  1. Divide texto en fragmentos solapados para RAG y crea una petición /api/embed de OllamaRAG Text ChunkerDivide un texto en fragmentos solapados y construye una petición /api/embed de Ollama para RAG
  2. Compara vectores de embeddings de Ollama /api/embed: coseno, producto escalar, distanciaEmbedding Similarity CalculatorCompara vectores de embeddings de Ollama /api/embed: similitud del coseno, producto escalar, distancia
  3. Escribe SQL de pgvector: tabla, índice HNSW/IVFFlat y consulta de vecinospgvector SQL BuilderEscribe SQL de pgvector: la tabla, un índice HNSW o IVFFlat y una consulta de vecinos más cercanos
  4. Convierte resultados de /api/embed y textos en INSERT de pgvectorEmbeddings to pgvector INSERTConvierte los resultados de /api/embed de Ollama y sus textos en sentencias INSERT de pgvector
  5. Crea una petición /api/chat de Ollama con fuentes numeradas y citasRAG Prompt BuilderCrea una petición /api/chat de Ollama que responda solo a partir de fuentes numeradas y las cite
  6. Comprueba números de fuente y citas de una respuesta RAG con las fuentesRAG Citation CheckerComprueba que los números de fuente y los fragmentos citados de una respuesta RAG coinciden de verdad con las fuentes

Artículos de este tema

Otros temas