~/tools / Embeddings y búsqueda (RAG) / Embeddings to pgvector INSERT

Embeddings to pgvector INSERT — Convierte resultados de /api/embed y textos en INSERT de pgvector

Convierte los textos que has pasado a embeddings y la respuesta de /api/embed de Ollama (o de un endpoint /v1/embeddings compatible con OpenAI) en sentencias INSERT para una tabla pgvector de PostgreSQL. Cada texto se empareja con su vector en orden, las comillas se escapan y la herramienta comprueba que coincidan los recuentos y las dimensiones antes de que ejecutes nada. Nada sale de tu navegador.

BEGIN;

INSERT INTO documents (content, embedding) VALUES
  ('Embeddings turn text into numeric vectors.', '[0.620186,0.410123,0.550165,0.380114]'),
  ('pgvector stores vectors in PostgreSQL, next to the rest of your data.', '[0.578815,0.469039,0.518937,0.419142]'),
  ('Ollama''s /api/embed returns one vector per input, in the same order.', '[0.119982,0.809879,-0.329951,0.46993]');

COMMIT;

Después de crear los embeddings de los fragmentos de tus documentos con Ollama, los vectores tienen que entrar en la base de datos junto con los textos de los que proceden. /api/embed de Ollama devuelve un vector por cada cadena de entrada, en el mismo orden que la entrada, así que el primer texto corresponde al primer vector. Esta herramienta hace el emparejamiento y escribe el SQL. Pega los textos, ya sea como el cuerpo JSON que enviaste a /api/embed (lo produce el RAG Text Chunker de este sitio), como un array JSON de cadenas o uno por línea, y pega la respuesta. La herramienta lee la respuesta de Ollama ({"embeddings": [[…], …]}) y la compatible con OpenAI ({"data": [{"embedding": […]}]}, devuelta al orden de index). Escribe los vectores en el formato de texto de pgvector, como '[0.1,-0.2,0.3]', y escribe cada texto como una constante de cadena SQL: la documentación de PostgreSQL dice que una comilla simple dentro de una cadena se escribe como dos comillas simples, y las barras invertidas se dejan tal cual porque standard_conforming_strings está activado por defecto desde PostgreSQL 9.1. Antes de escribir nada, comprueba lo que haría fallar el INSERT o emparejaría filas equivocadas: un número distinto de textos y de vectores, vectores con dimensiones diferentes, una dimensión distinta de la vector(n) de la columna, valores que no son números finitos (pgvector no acepta NaN ni Infinity), embeddings en base64 y el carácter NUL, que PostgreSQL no puede guardar en un texto. Las sentencias se envuelven en BEGIN y COMMIT, con 100 filas por INSERT. Ejecutamos el resultado en pgvector 0.8.7 con PostgreSQL 16 usando una respuesta real de Ollama, con textos que contenían comillas, barras invertidas, saltos de línea y emoji, y los textos volvieron sin cambios.

La lógica principal de esta herramienta es de código abierto, con licencia MIT. github.com/seigo5555/toolkitbox-lib/src/pgvector-insert.ts