~/tools / Embeddings e busca (RAG) / Embeddings to pgvector INSERT

Embeddings to pgvector INSERT — Transforme resultados do /api/embed e textos em INSERT do pgvector

Transforme os textos dos quais você gerou embeddings e a resposta do /api/embed do Ollama (ou de um endpoint /v1/embeddings compatível com a OpenAI) em instruções INSERT para uma tabela pgvector no PostgreSQL. Cada texto é emparelhado com o seu vetor em ordem, as aspas são escapadas e a ferramenta verifica se as contagens e as dimensões combinam antes que você execute qualquer coisa. Nada sai do seu navegador.

BEGIN;

INSERT INTO documents (content, embedding) VALUES
  ('Embeddings turn text into numeric vectors.', '[0.620186,0.410123,0.550165,0.380114]'),
  ('pgvector stores vectors in PostgreSQL, next to the rest of your data.', '[0.578815,0.469039,0.518937,0.419142]'),
  ('Ollama''s /api/embed returns one vector per input, in the same order.', '[0.119982,0.809879,-0.329951,0.46993]');

COMMIT;

Depois de gerar os embeddings dos trechos dos seus documentos com o Ollama, os vetores precisam ir para o banco de dados junto com os textos de onde vieram. O /api/embed do Ollama devolve um vetor por string de entrada, na mesma ordem da entrada, então o primeiro texto corresponde ao primeiro vetor. Esta ferramenta faz o emparelhamento e escreve o SQL. Cole os textos, seja como o corpo JSON que você enviou ao /api/embed (o RAG Text Chunker deste site o produz), como um array JSON de strings ou um por linha, e cole a resposta. A ferramenta lê a resposta do Ollama ({"embeddings": [[…], …]}) e a compatível com a OpenAI ({"data": [{"embedding": […]}]}, recolocada na ordem de index). Ela escreve os vetores no formato de texto do pgvector, como '[0.1,-0.2,0.3]', e escreve cada texto como uma constante de string SQL: a documentação do PostgreSQL diz que uma aspa simples dentro de uma string é escrita como duas aspas simples, e as barras invertidas são mantidas como estão porque standard_conforming_strings vem ativado por padrão desde o PostgreSQL 9.1. Antes de escrever qualquer coisa, ela verifica o que faria o INSERT falhar ou emparelharia linhas erradas: um número diferente de textos e de vetores, vetores com dimensões diferentes, uma dimensão diferente da vector(n) da coluna, valores que não são números finitos (o pgvector não aceita NaN nem Infinity), embeddings em base64 e o caractere NUL, que o PostgreSQL não consegue guardar em um texto. As instruções são envolvidas em BEGIN e COMMIT, com 100 linhas por INSERT. Executamos a saída no pgvector 0.8.7 com PostgreSQL 16 usando uma resposta real do Ollama, com textos contendo aspas, barras invertidas, quebras de linha e emoji, e os textos voltaram sem alterações.

A lógica principal desta ferramenta é de código aberto, sob a licença MIT. github.com/seigo5555/toolkitbox-lib/src/pgvector-insert.ts