~/tools / Embedding e ricerca (RAG) / pgvector SQL Builder

pgvector SQL Builder — Scrivi SQL per pgvector: tabella, indice HNSW/IVFFlat e query dei vicini

Scrivi l'SQL per salvare e cercare embedding in PostgreSQL con pgvector: una tabella con una colonna vector(n) o halfvec(n), un indice HNSW o IVFFlat con la classe di operatori che corrisponde alla tua distanza e una query dei vicini più prossimi con un punteggio leggibile. Controlla i limiti indicati nella documentazione di pgvector e stima quanto spazio occupano i vettori. Nulla lascia il tuo browser.

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE documents (
  id bigserial PRIMARY KEY,
  content text NOT NULL,
  embedding vector(384) NOT NULL
);

CREATE INDEX ON documents USING hnsw (embedding vector_cosine_ops) WITH (m = 16, ef_construction = 64);

PREPARE search_documents(vector(384)) AS
  SELECT id, content, 1 - (embedding <=> $1) AS cosine_similarity
  FROM documents
  ORDER BY embedding <=> $1
  LIMIT 5;

-- EXECUTE search_documents('[0.0123, -0.0456, ...]');

pgvector è un'estensione open source che aggiunge a PostgreSQL la ricerca per similarità di vettori, così gli embedding che crei con Ollama possono essere salvati nello stesso database del resto dei tuoi dati. Alcuni dettagli sono facili da sbagliare. La colonna deve avere lo stesso numero di dimensioni del tuo modello di embedding. Ogni distanza ha il proprio operatore: <=> per la distanza del coseno, <-> per la distanza L2, <#> per il prodotto interno negativo e <+> per la distanza L1. Un indice approssimato viene usato solo se è stato creato con la classe di operatori della stessa distanza, come vector_cosine_ops per <=>, e se la query ordina per l'operatore stesso in ordine crescente con un LIMIT. Questo strumento scrive le tre parti a partire da un unico insieme di scelte: CREATE EXTENSION e CREATE TABLE, CREATE INDEX, e un'istruzione PREPARE che restituisce le righe più vicine con un punteggio leggibile (la similarità del coseno è 1 meno la distanza del coseno, e il prodotto interno è <#> moltiplicato per -1). Applica i limiti del README e del codice sorgente di pgvector per la versione 0.8.7: fino a 16,000 dimensioni in una colonna, indici fino a 2,000 dimensioni per vector e 4,000 per halfvec, nessuna classe di operatori L1 per IVFFlat, m di HNSW da 2 a 100, ed ef_construction da 4 a 1,000 e almeno 2 × m. Con HNSW, una ricerca restituisce al massimo hnsw.ef_search righe (40 per impostazione predefinita), quindi lo strumento avvisa quando LIMIT è maggiore. Per IVFFlat compila lists e probes con i punti di partenza del README: rows / 1000 fino a 1M righe, sqrt(rows) oltre, e sqrt(lists) per probes. L'SQL generato è stato eseguito su pgvector 0.8.7 con PostgreSQL 16 usando vettori reali a 384 dimensioni di Ollama, ed EXPLAIN ha mostrato che l'indice veniva usato.

La logica principale di questo strumento è open source, con licenza MIT. github.com/seigo5555/toolkitbox-lib/src/pgvector-sql.ts