~/tools / Embedding dan pencarian (RAG) / pgvector SQL Builder

pgvector SQL Builder — Tulis SQL pgvector: tabel, indeks HNSW/IVFFlat, dan kueri nearest neighbor

Tulis SQL untuk menyimpan dan mencari embedding di PostgreSQL dengan pgvector: tabel dengan kolom vector(n) atau halfvec(n), indeks HNSW atau IVFFlat dengan operator class yang sesuai dengan jarak Anda, dan kueri nearest neighbor dengan skor yang mudah dibaca. Alat ini memeriksa batasan yang tercantum dalam dokumentasi pgvector dan memperkirakan ruang yang dipakai vektor. Tidak ada yang keluar dari browser Anda.

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE documents (
  id bigserial PRIMARY KEY,
  content text NOT NULL,
  embedding vector(384) NOT NULL
);

CREATE INDEX ON documents USING hnsw (embedding vector_cosine_ops) WITH (m = 16, ef_construction = 64);

PREPARE search_documents(vector(384)) AS
  SELECT id, content, 1 - (embedding <=> $1) AS cosine_similarity
  FROM documents
  ORDER BY embedding <=> $1
  LIMIT 5;

-- EXECUTE search_documents('[0.0123, -0.0456, ...]');

pgvector adalah ekstensi open source yang menambahkan pencarian kemiripan vektor ke PostgreSQL, sehingga embedding yang Anda buat dengan Ollama dapat disimpan di database yang sama dengan data Anda yang lain. Ada beberapa detail yang mudah keliru. Kolom harus memiliki jumlah dimensi yang sama dengan model embedding Anda. Setiap jarak punya operatornya sendiri: <=> untuk jarak kosinus, <-> untuk jarak L2, <#> untuk inner product negatif, dan <+> untuk jarak L1. Indeks aproksimasi hanya dipakai jika dibuat dengan operator class untuk jarak yang sama, seperti vector_cosine_ops untuk <=>, dan jika kueri mengurutkan berdasarkan operator itu sendiri secara menaik dengan LIMIT. Alat ini menulis tiga bagian dari satu set pilihan: CREATE EXTENSION dan CREATE TABLE, CREATE INDEX, dan pernyataan PREPARE yang mengembalikan baris terdekat dengan skor yang mudah dibaca (kemiripan kosinus adalah 1 dikurangi jarak kosinus, dan inner product adalah <#> dikalikan -1). Alat ini menerapkan batasan dari README dan kode sumber pgvector versi 0.8.7: hingga 16,000 dimensi dalam satu kolom, indeks hingga 2,000 dimensi untuk vector dan 4,000 untuk halfvec, tidak ada operator class L1 untuk IVFFlat, m HNSW dari 2 sampai 100, dan ef_construction dari 4 sampai 1,000 serta minimal 2 × m. Dengan HNSW, sebuah pencarian mengembalikan paling banyak hnsw.ef_search baris (40 secara default), sehingga alat ini memberi peringatan jika LIMIT lebih besar. Untuk IVFFlat, alat ini mengisi lists dan probes dari titik awal di README: rows / 1000 hingga 1M baris, sqrt(rows) di atas itu, dan sqrt(lists) untuk probes. SQL yang dihasilkan dijalankan pada pgvector 0.8.7 dengan PostgreSQL 16 memakai vektor 384 dimensi asli dari Ollama, dan EXPLAIN menunjukkan indeks dipakai.

Logika utama alat ini bersifat sumber terbuka dengan lisensi MIT. github.com/seigo5555/toolkitbox-lib/src/pgvector-sql.ts