~/tools / Embeddingi i wyszukiwanie (RAG) / pgvector SQL Builder

pgvector SQL Builder — SQL dla pgvector: tabela, indeks HNSW/IVFFlat i zapytanie o sąsiadów

Napisz SQL do przechowywania i wyszukiwania embeddingów w PostgreSQL z pgvector: tabelę z kolumną vector(n) lub halfvec(n), indeks HNSW lub IVFFlat z klasą operatorów pasującą do wybranej odległości oraz zapytanie o najbliższych sąsiadów z czytelnym wynikiem. Narzędzie sprawdza ograniczenia podane w dokumentacji pgvector i szacuje, ile miejsca zajmują wektory. Nic nie opuszcza Twojej przeglądarki.

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE documents (
  id bigserial PRIMARY KEY,
  content text NOT NULL,
  embedding vector(384) NOT NULL
);

CREATE INDEX ON documents USING hnsw (embedding vector_cosine_ops) WITH (m = 16, ef_construction = 64);

PREPARE search_documents(vector(384)) AS
  SELECT id, content, 1 - (embedding <=> $1) AS cosine_similarity
  FROM documents
  ORDER BY embedding <=> $1
  LIMIT 5;

-- EXECUTE search_documents('[0.0123, -0.0456, ...]');

pgvector to rozszerzenie open source, które dodaje do PostgreSQL wyszukiwanie wektorów według podobieństwa, dzięki czemu embeddingi tworzone w Ollamie można przechowywać w tej samej bazie co pozostałe dane. Kilka szczegółów łatwo pomylić. Kolumna musi mieć tyle samo wymiarów co Twój model embeddingów. Każda odległość ma własny operator: <=> dla odległości cosinusowej, <-> dla odległości L2, <#> dla ujemnego iloczynu skalarnego i <+> dla odległości L1. Przybliżony indeks jest używany tylko wtedy, gdy zbudowano go z klasą operatorów dla tej samej odległości, na przykład vector_cosine_ops dla <=>, oraz gdy zapytanie sortuje według samego operatora w kolejności rosnącej i ma LIMIT. To narzędzie pisze trzy części z jednego zestawu wyborów: CREATE EXTENSION i CREATE TABLE, CREATE INDEX oraz polecenie PREPARE, które zwraca najbliższe wiersze z czytelnym wynikiem (podobieństwo cosinusowe to 1 minus odległość cosinusowa, a iloczyn skalarny to <#> pomnożone przez -1). Stosuje ograniczenia z README i kodu źródłowego pgvector w wersji 0.8.7: do 16,000 wymiarów w kolumnie, indeksy do 2,000 wymiarów dla vector i 4,000 dla halfvec, brak klasy operatorów L1 dla IVFFlat, w HNSW m od 2 do 100 oraz ef_construction od 4 do 1,000 i co najmniej 2 × m. W HNSW wyszukiwanie zwraca co najwyżej hnsw.ef_search wierszy (domyślnie 40), więc narzędzie ostrzega, gdy LIMIT jest większy. Dla IVFFlat uzupełnia lists i probes według punktów wyjścia z README: rows / 1000 dla do 1M wierszy, sqrt(rows) powyżej tego oraz sqrt(lists) dla probes. Wygenerowane SQL uruchomiono na pgvector 0.8.7 z PostgreSQL 16, używając prawdziwych wektorów o 384 wymiarach z Ollamy, a EXPLAIN pokazał użycie indeksu.

Główna logika tego narzędzia jest otwartoźródłowa, na licencji MIT. github.com/seigo5555/toolkitbox-lib/src/pgvector-sql.ts