~/tools / Embeddings et recherche (RAG) / Embeddings to pgvector INSERT

Embeddings to pgvector INSERT — Transformez résultats /api/embed et textes en INSERT pgvector

Transformez les textes dont vous avez calculé les embeddings et la réponse de /api/embed d'Ollama (ou d'un endpoint /v1/embeddings compatible OpenAI) en instructions INSERT pour une table pgvector dans PostgreSQL. Chaque texte est associé à son vecteur dans l'ordre, les guillemets sont échappés, et l'outil vérifie que les nombres et les dimensions correspondent avant que vous n'exécutiez quoi que ce soit. Rien ne quitte votre navigateur.

BEGIN;

INSERT INTO documents (content, embedding) VALUES
  ('Embeddings turn text into numeric vectors.', '[0.620186,0.410123,0.550165,0.380114]'),
  ('pgvector stores vectors in PostgreSQL, next to the rest of your data.', '[0.578815,0.469039,0.518937,0.419142]'),
  ('Ollama''s /api/embed returns one vector per input, in the same order.', '[0.119982,0.809879,-0.329951,0.46993]');

COMMIT;

Après avoir calculé avec Ollama les embeddings des fragments de vos documents, les vecteurs doivent entrer dans la base de données avec les textes dont ils proviennent. /api/embed d'Ollama renvoie un vecteur par chaîne d'entrée, dans le même ordre que l'entrée, donc le premier texte correspond au premier vecteur. Cet outil fait l'association et écrit le SQL. Collez les textes, soit sous forme du corps JSON que vous avez envoyé à /api/embed (le RAG Text Chunker de ce site le produit), soit sous forme de tableau JSON de chaînes, soit un par ligne, puis collez la réponse. L'outil lit la réponse d'Ollama ({"embeddings": [[…], …]}) et celle au format compatible OpenAI ({"data": [{"embedding": […]}]}, remise dans l'ordre de index). Il écrit les vecteurs dans le format texte de pgvector, comme '[0.1,-0.2,0.3]', et écrit chaque texte comme une constante de chaîne SQL : la documentation de PostgreSQL indique qu'une apostrophe à l'intérieur d'une chaîne s'écrit avec deux apostrophes, et les barres obliques inverses sont conservées telles quelles car standard_conforming_strings est activé par défaut depuis PostgreSQL 9.1. Avant d'écrire quoi que ce soit, il vérifie ce qui ferait échouer l'INSERT ou associerait les mauvaises lignes : un nombre différent de textes et de vecteurs, des vecteurs de dimensions différentes, une dimension différente de celle du vector(n) de la colonne, des valeurs qui ne sont pas des nombres finis (pgvector n'accepte ni NaN ni Infinity), des embeddings en base64, et le caractère NUL, que PostgreSQL ne peut pas stocker dans un texte. Les instructions sont enveloppées dans BEGIN et COMMIT, à raison de 100 lignes par INSERT. Nous avons exécuté la sortie sur pgvector 0.8.7 avec PostgreSQL 16 à partir d'une vraie réponse d'Ollama, avec des textes contenant des guillemets, des barres obliques inverses, des sauts de ligne et des emoji, et les textes sont ressortis inchangés.

Le cœur de cet outil est open source, sous licence MIT. github.com/seigo5555/toolkitbox-lib/src/pgvector-insert.ts