~/tools / Embeddings und Suche (RAG) / pgvector SQL Builder

pgvector SQL Builder — pgvector-SQL: Tabelle, HNSW/IVFFlat-Index und Abfrage nach nächsten Nachbarn

Schreiben Sie das SQL, um Embeddings in PostgreSQL mit pgvector zu speichern und zu durchsuchen: eine Tabelle mit einer Spalte vector(n) oder halfvec(n), einen HNSW- oder IVFFlat-Index mit der zu Ihrem Abstand passenden Operatorklasse und eine Abfrage nach den nächsten Nachbarn mit gut lesbarem Score. Das Tool prüft die in der pgvector-Dokumentation genannten Grenzen und schätzt, wie viel Platz die Vektoren belegen. Nichts verlässt Ihren Browser.

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE documents (
  id bigserial PRIMARY KEY,
  content text NOT NULL,
  embedding vector(384) NOT NULL
);

CREATE INDEX ON documents USING hnsw (embedding vector_cosine_ops) WITH (m = 16, ef_construction = 64);

PREPARE search_documents(vector(384)) AS
  SELECT id, content, 1 - (embedding <=> $1) AS cosine_similarity
  FROM documents
  ORDER BY embedding <=> $1
  LIMIT 5;

-- EXECUTE search_documents('[0.0123, -0.0456, ...]');

pgvector ist eine Open-Source-Erweiterung, die PostgreSQL um die Ähnlichkeitssuche für Vektoren ergänzt, sodass die Embeddings, die Sie mit Ollama erzeugen, in derselben Datenbank wie Ihre übrigen Daten gespeichert werden können. Einige Details sind leicht falsch zu machen. Die Spalte muss dieselbe Anzahl von Dimensionen haben wie Ihr Embedding-Modell. Jeder Abstand hat seinen eigenen Operator: <=> für den Kosinus-Abstand, <-> für den L2-Abstand, <#> für das negative Skalarprodukt und <+> für den L1-Abstand. Ein approximativer Index wird nur verwendet, wenn er mit der Operatorklasse für denselben Abstand gebaut wurde, etwa vector_cosine_ops für <=>, und wenn die Abfrage nach dem Operator selbst in aufsteigender Reihenfolge sortiert und ein LIMIT enthält. Dieses Tool schreibt die drei Teile aus einer einzigen Auswahl: CREATE EXTENSION und CREATE TABLE, CREATE INDEX sowie eine PREPARE-Anweisung, die die nächsten Zeilen mit einem gut lesbaren Score zurückgibt (die Kosinus-Ähnlichkeit ist 1 minus der Kosinus-Abstand, und das Skalarprodukt ist <#> multipliziert mit -1). Es wendet die Grenzen aus der pgvector-README und dem Quellcode für Version 0.8.7 an: bis zu 16,000 Dimensionen in einer Spalte, Indizes bis 2,000 Dimensionen für vector und 4,000 für halfvec, keine L1-Operatorklasse für IVFFlat, bei HNSW m von 2 bis 100 und ef_construction von 4 bis 1,000 sowie mindestens 2 × m. Bei HNSW liefert eine Suche höchstens hnsw.ef_search Zeilen (standardmäßig 40), daher warnt das Tool, wenn LIMIT größer ist. Für IVFFlat trägt es lists und probes nach den Ausgangswerten der README ein: rows / 1000 bis 1M Zeilen, darüber sqrt(rows), und sqrt(lists) für probes. Das erzeugte SQL wurde mit pgvector 0.8.7 und PostgreSQL 16 mit echten Vektoren mit 384 Dimensionen von Ollama ausgeführt, und EXPLAIN zeigte, dass der Index verwendet wurde.

Die Kernlogik dieses Tools ist Open Source unter der MIT-Lizenz. github.com/seigo5555/toolkitbox-lib/src/pgvector-sql.ts