~/ / Embeddings e busca (RAG)

Embeddings e busca (RAG)

Ferramentas para montar a geração aumentada por recuperação (RAG) passo a passo. Divida documentos em chunks, compare embeddings, armazene-os e busque-os no PostgreSQL com pgvector, monte um prompt que responde apenas a partir das fontes e verifique se as citações da resposta correspondem a elas.

Ferramentas, na ordem em que você as usa

  1. Divida texto em pedaços sobrepostos para RAG e monte uma requisição /api/embed do OllamaRAG Text ChunkerDivida um texto em pedaços sobrepostos e monte uma requisição /api/embed do Ollama para RAG
  2. Compare vetores de embeddings do Ollama /api/embed: cosseno, produto escalar, distânciaEmbedding Similarity CalculatorCompare vetores de embeddings do Ollama /api/embed: similaridade de cosseno, produto escalar, distância
  3. Escreva SQL do pgvector: tabela, índice HNSW/IVFFlat e consulta de vizinhospgvector SQL BuilderEscreva SQL do pgvector: a tabela, um índice HNSW ou IVFFlat e uma consulta de vizinhos mais próximos
  4. Transforme resultados do /api/embed e textos em INSERT do pgvectorEmbeddings to pgvector INSERTTransforme os resultados do /api/embed do Ollama e seus textos em instruções INSERT do pgvector
  5. Monte uma requisição /api/chat do Ollama com fontes numeradas e citadasRAG Prompt BuilderMonte uma requisição /api/chat do Ollama que responde somente com base em fontes numeradas e as cita
  6. Confira números de fonte e citações de uma resposta RAG com as fontesRAG Citation CheckerConfira se os números de fonte e os trechos citados de uma resposta RAG realmente correspondem às fontes

Artigos deste tema

Outros tópicos