~/tools / Embedding e ricerca (RAG) / Embeddings to pgvector INSERT

Embeddings to pgvector INSERT — Trasforma risultati di /api/embed e testi in INSERT per pgvector

Trasforma i testi di cui hai calcolato gli embedding e la risposta di /api/embed di Ollama (o di un endpoint /v1/embeddings compatibile con OpenAI) in istruzioni INSERT per una tabella pgvector in PostgreSQL. Ogni testo viene abbinato al suo vettore in ordine, gli apici vengono escapati e lo strumento controlla che i conteggi e le dimensioni corrispondano prima che tu esegua qualsiasi cosa. Nulla lascia il tuo browser.

BEGIN;

INSERT INTO documents (content, embedding) VALUES
  ('Embeddings turn text into numeric vectors.', '[0.620186,0.410123,0.550165,0.380114]'),
  ('pgvector stores vectors in PostgreSQL, next to the rest of your data.', '[0.578815,0.469039,0.518937,0.419142]'),
  ('Ollama''s /api/embed returns one vector per input, in the same order.', '[0.119982,0.809879,-0.329951,0.46993]');

COMMIT;

Dopo aver calcolato con Ollama gli embedding dei frammenti dei tuoi documenti, i vettori devono entrare nel database insieme ai testi da cui provengono. /api/embed di Ollama restituisce un vettore per ogni stringa di input, nello stesso ordine dell'input, quindi il primo testo corrisponde al primo vettore. Questo strumento fa l'abbinamento e scrive l'SQL. Incolla i testi, come corpo JSON che hai inviato a /api/embed (lo produce il RAG Text Chunker di questo sito), come array JSON di stringhe o uno per riga, e incolla la risposta. Lo strumento legge la risposta di Ollama ({"embeddings": [[…], …]}) e quella compatibile con OpenAI ({"data": [{"embedding": […]}]}, rimessa nell'ordine di index). Scrive i vettori nel formato testuale di pgvector, come '[0.1,-0.2,0.3]', e scrive ogni testo come costante stringa SQL: la documentazione di PostgreSQL dice che un apice singolo dentro una stringa si scrive con due apici singoli, e i backslash vengono lasciati così come sono perché standard_conforming_strings è attivo per impostazione predefinita da PostgreSQL 9.1. Prima di scrivere qualsiasi cosa, controlla ciò che farebbe fallire l'INSERT o abbinerebbe le righe sbagliate: un numero diverso di testi e di vettori, vettori con dimensioni diverse, una dimensione diversa da quella del vector(n) della colonna, valori che non sono numeri finiti (pgvector non accetta NaN né Infinity), embedding in base64 e il carattere NUL, che PostgreSQL non può memorizzare in un testo. Le istruzioni sono racchiuse in BEGIN e COMMIT, con 100 righe per INSERT. Abbiamo eseguito l'output su pgvector 0.8.7 con PostgreSQL 16 usando una risposta reale di Ollama, con testi contenenti apici, backslash, a capo ed emoji, e i testi sono tornati invariati.

La logica principale di questo strumento è open source, con licenza MIT. github.com/seigo5555/toolkitbox-lib/src/pgvector-insert.ts