~/tools / Embeddings et recherche (RAG) / pgvector SQL Builder

pgvector SQL Builder — Écrivez du SQL pgvector : table, index HNSW/IVFFlat et requête de voisins

Écrivez le SQL pour stocker et rechercher des embeddings dans PostgreSQL avec pgvector : une table avec une colonne vector(n) ou halfvec(n), un index HNSW ou IVFFlat avec la classe d'opérateurs qui correspond à votre distance, et une requête de plus proches voisins avec un score lisible. L'outil vérifie les limites indiquées dans la documentation de pgvector et estime la place qu'occupent les vecteurs. Rien ne quitte votre navigateur.

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE documents (
  id bigserial PRIMARY KEY,
  content text NOT NULL,
  embedding vector(384) NOT NULL
);

CREATE INDEX ON documents USING hnsw (embedding vector_cosine_ops) WITH (m = 16, ef_construction = 64);

PREPARE search_documents(vector(384)) AS
  SELECT id, content, 1 - (embedding <=> $1) AS cosine_similarity
  FROM documents
  ORDER BY embedding <=> $1
  LIMIT 5;

-- EXECUTE search_documents('[0.0123, -0.0456, ...]');

pgvector est une extension open source qui ajoute à PostgreSQL la recherche par similarité de vecteurs, de sorte que les embeddings que vous créez avec Ollama peuvent être stockés dans la même base de données que le reste de vos données. Plusieurs détails sont faciles à rater. La colonne doit avoir le même nombre de dimensions que votre modèle d'embeddings. Chaque distance a son propre opérateur : <=> pour la distance cosinus, <-> pour la distance L2, <#> pour le produit scalaire négatif et <+> pour la distance L1. Un index approximatif n'est utilisé que s'il a été créé avec la classe d'opérateurs de la même distance, comme vector_cosine_ops pour <=>, et si la requête trie selon l'opérateur lui-même, en ordre croissant, avec un LIMIT. Cet outil écrit les trois parties à partir d'un seul ensemble de choix : CREATE EXTENSION et CREATE TABLE, CREATE INDEX, et une instruction PREPARE qui renvoie les lignes les plus proches avec un score lisible (la similarité cosinus vaut 1 moins la distance cosinus, et le produit scalaire vaut <#> multiplié par -1). Il applique les limites du README et du code source de pgvector pour la version 0.8.7 : jusqu'à 16,000 dimensions dans une colonne, des index jusqu'à 2,000 dimensions pour vector et 4,000 pour halfvec, pas de classe d'opérateurs L1 pour IVFFlat, m de HNSW de 2 à 100, et ef_construction de 4 à 1,000 et au moins égal à 2 × m. Avec HNSW, une recherche renvoie au plus hnsw.ef_search lignes (40 par défaut), donc l'outil avertit quand LIMIT est plus grand. Pour IVFFlat, il renseigne lists et probes avec les points de départ du README : rows / 1000 jusqu'à 1M de lignes, sqrt(rows) au-delà, et sqrt(lists) pour probes. Le SQL généré a été exécuté sur pgvector 0.8.7 avec PostgreSQL 16, à partir de vrais vecteurs de 384 dimensions d'Ollama, et EXPLAIN a montré que l'index était utilisé.

Le cœur de cet outil est open source, sous licence MIT. github.com/seigo5555/toolkitbox-lib/src/pgvector-sql.ts