~/tools / Embedding và tìm kiếm (RAG) / pgvector SQL Builder

pgvector SQL Builder — Viết SQL pgvector: bảng, chỉ mục HNSW/IVFFlat và truy vấn láng giềng gần nhất

Viết SQL để lưu và tìm kiếm embedding trong PostgreSQL bằng pgvector: một bảng có cột vector(n) hoặc halfvec(n), một chỉ mục HNSW hoặc IVFFlat với lớp toán tử khớp với khoảng cách của bạn, và một truy vấn láng giềng gần nhất với điểm số dễ đọc. Công cụ kiểm tra các giới hạn nêu trong tài liệu pgvector và ước tính dung lượng các vector chiếm. Không có gì rời khỏi trình duyệt của bạn.

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE documents (
  id bigserial PRIMARY KEY,
  content text NOT NULL,
  embedding vector(384) NOT NULL
);

CREATE INDEX ON documents USING hnsw (embedding vector_cosine_ops) WITH (m = 16, ef_construction = 64);

PREPARE search_documents(vector(384)) AS
  SELECT id, content, 1 - (embedding <=> $1) AS cosine_similarity
  FROM documents
  ORDER BY embedding <=> $1
  LIMIT 5;

-- EXECUTE search_documents('[0.0123, -0.0456, ...]');

pgvector là một phần mở rộng mã nguồn mở thêm khả năng tìm kiếm tương đồng vector vào PostgreSQL, nên các embedding bạn tạo bằng Ollama có thể được lưu cùng cơ sở dữ liệu với phần còn lại của dữ liệu. Có vài chi tiết dễ làm sai. Cột phải có cùng số chiều với mô hình embedding của bạn. Mỗi khoảng cách có toán tử riêng: <=> cho khoảng cách cosine, <-> cho khoảng cách L2, <#> cho tích vô hướng âm và <+> cho khoảng cách L1. Một chỉ mục xấp xỉ chỉ được dùng khi nó được xây bằng lớp toán tử của cùng khoảng cách đó, chẳng hạn vector_cosine_ops cho <=>, và khi truy vấn sắp xếp theo chính toán tử đó theo thứ tự tăng dần kèm LIMIT. Công cụ này viết ba phần từ cùng một bộ lựa chọn: CREATE EXTENSION và CREATE TABLE, CREATE INDEX, và một câu lệnh PREPARE trả về các hàng gần nhất với điểm số dễ đọc (độ tương đồng cosine là 1 trừ khoảng cách cosine, và tích vô hướng là <#> nhân với -1). Nó áp dụng các giới hạn trong README và mã nguồn của pgvector phiên bản 0.8.7: tối đa 16,000 chiều trong một cột, chỉ mục tối đa 2,000 chiều với vector và 4,000 với halfvec, không có lớp toán tử L1 cho IVFFlat, m của HNSW từ 2 đến 100, và ef_construction từ 4 đến 1,000 và ít nhất là 2 × m. Với HNSW, một lần tìm kiếm trả về tối đa hnsw.ef_search hàng (mặc định 40), nên công cụ cảnh báo khi LIMIT lớn hơn. Với IVFFlat, nó điền lists và probes từ các điểm khởi đầu của README: rows / 1000 cho đến 1M hàng, sqrt(rows) khi nhiều hơn, và sqrt(lists) cho probes. SQL được tạo ra đã được chạy trên pgvector 0.8.7 với PostgreSQL 16 bằng các vector 384 chiều thật từ Ollama, và EXPLAIN cho thấy chỉ mục được sử dụng.

Phần xử lý chính của công cụ này là mã nguồn mở theo giấy phép MIT. github.com/seigo5555/toolkitbox-lib/src/pgvector-sql.ts