~/tools / Embedding'ler ve arama (RAG) / pgvector SQL Builder

pgvector SQL Builder — pgvector SQL'i yazın: tablo, HNSW/IVFFlat indeksi ve komşu sorgusu

PostgreSQL'de pgvector ile embedding'leri saklamak ve aramak için SQL yazın: vector(n) veya halfvec(n) sütunlu bir tablo, uzaklığınıza uyan operatör sınıfıyla bir HNSW veya IVFFlat indeksi ve okunaklı bir skorla en yakın komşu sorgusu. Araç, pgvector belgelerinde verilen sınırları denetler ve vektörlerin ne kadar yer kapladığını tahmin eder. Hiçbir veri tarayıcınızdan çıkmaz.

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE documents (
  id bigserial PRIMARY KEY,
  content text NOT NULL,
  embedding vector(384) NOT NULL
);

CREATE INDEX ON documents USING hnsw (embedding vector_cosine_ops) WITH (m = 16, ef_construction = 64);

PREPARE search_documents(vector(384)) AS
  SELECT id, content, 1 - (embedding <=> $1) AS cosine_similarity
  FROM documents
  ORDER BY embedding <=> $1
  LIMIT 5;

-- EXECUTE search_documents('[0.0123, -0.0456, ...]');

pgvector, PostgreSQL'e vektör benzerliği araması ekleyen açık kaynaklı bir eklentidir; böylece Ollama ile oluşturduğunuz embedding'ler, diğer verilerinizle aynı veritabanında saklanabilir. Birkaç ayrıntıyı yanlış yapmak kolaydır. Sütun, embedding modelinizle aynı sayıda boyuta sahip olmalıdır. Her uzaklığın kendi operatörü vardır: kosinüs uzaklığı için <=>, L2 uzaklığı için <->, negatif nokta çarpımı için <#> ve L1 uzaklığı için <+>. Yaklaşık bir indeks yalnızca aynı uzaklığın operatör sınıfıyla oluşturulmuşsa, örneğin <=> için vector_cosine_ops, ve sorgu operatörün kendisine göre artan sırada sıralıyor ve LIMIT içeriyorsa kullanılır. Bu araç üç parçayı tek bir seçim kümesinden yazar: CREATE EXTENSION ve CREATE TABLE, CREATE INDEX ve en yakın satırları okunaklı bir skorla döndüren bir PREPARE ifadesi (kosinüs benzerliği, 1 eksi kosinüs uzaklığıdır; nokta çarpımı ise <#> çarpı -1'dir). pgvector 0.8.7 sürümünün README'sindeki ve kaynak kodundaki sınırları uygular: bir sütunda 16,000 boyuta kadar, vector için 2,000 ve halfvec için 4,000 boyuta kadar indeks, IVFFlat için L1 operatör sınıfı yok, HNSW için m 2 ile 100 arasında ve ef_construction 4 ile 1,000 arasında ve en az 2 × m. HNSW'de bir arama en fazla hnsw.ef_search satır döndürür (varsayılan 40), bu yüzden LIMIT daha büyükse araç uyarır. IVFFlat için lists ve probes değerlerini README'nin başlangıç noktalarından doldurur: 1M satıra kadar rows / 1000, bunun üzerinde sqrt(rows) ve probes için sqrt(lists). Üretilen SQL, pgvector 0.8.7 ve PostgreSQL 16 üzerinde, Ollama'dan alınan gerçek 384 boyutlu vektörlerle çalıştırıldı ve EXPLAIN indeksin kullanıldığını gösterdi.

Bu aracın temel mantığı MIT lisansıyla açık kaynaktır. github.com/seigo5555/toolkitbox-lib/src/pgvector-sql.ts