~/tools / Эмбеддинги и поиск (RAG) / pgvector SQL Builder

pgvector SQL Builder — SQL для pgvector: таблица, индекс HNSW/IVFFlat и запрос соседей

Напишите SQL для хранения и поиска эмбеддингов в PostgreSQL с pgvector: таблицу со столбцом vector(n) или halfvec(n), индекс HNSW или IVFFlat с классом операторов, подходящим к вашему расстоянию, и запрос ближайших соседей с удобочитаемой оценкой. Инструмент проверяет ограничения, указанные в документации pgvector, и оценивает, сколько места занимают векторы. Ничто не покидает ваш браузер.

CREATE EXTENSION IF NOT EXISTS vector;

CREATE TABLE documents (
  id bigserial PRIMARY KEY,
  content text NOT NULL,
  embedding vector(384) NOT NULL
);

CREATE INDEX ON documents USING hnsw (embedding vector_cosine_ops) WITH (m = 16, ef_construction = 64);

PREPARE search_documents(vector(384)) AS
  SELECT id, content, 1 - (embedding <=> $1) AS cosine_similarity
  FROM documents
  ORDER BY embedding <=> $1
  LIMIT 5;

-- EXECUTE search_documents('[0.0123, -0.0456, ...]');

pgvector — расширение с открытым исходным кодом, которое добавляет в PostgreSQL поиск векторов по сходству, так что эмбеддинги, созданные в Ollama, можно хранить в той же базе данных, что и остальные данные. В нескольких деталях легко ошибиться. Столбец должен иметь столько же измерений, сколько и ваша модель эмбеддингов. У каждого расстояния свой оператор: <=> для косинусного расстояния, <-> для расстояния L2, <#> для отрицательного скалярного произведения и <+> для расстояния L1. Приближённый индекс используется только тогда, когда он построен с классом операторов для того же расстояния, например vector_cosine_ops для <=>, и когда запрос сортирует по самому оператору по возрастанию и содержит LIMIT. Этот инструмент пишет три части по одному набору выбранных параметров: CREATE EXTENSION и CREATE TABLE, CREATE INDEX и оператор PREPARE, который возвращает ближайшие строки с удобочитаемой оценкой (косинусное сходство равно 1 минус косинусное расстояние, а скалярное произведение равно <#>, умноженному на -1). Он применяет ограничения из README и исходного кода pgvector версии 0.8.7: до 16,000 измерений в столбце, индексы до 2,000 измерений для vector и 4,000 для halfvec, нет класса операторов L1 для IVFFlat, для HNSW m от 2 до 100 и ef_construction от 4 до 1,000 и не меньше 2 × m. В HNSW поиск возвращает не больше hnsw.ef_search строк (по умолчанию 40), поэтому инструмент предупреждает, когда LIMIT больше. Для IVFFlat он подставляет lists и probes по отправным значениям из README: rows / 1000 для таблиц до 1M строк, sqrt(rows) для больших и sqrt(lists) для probes. Сгенерированный SQL был выполнен на pgvector 0.8.7 с PostgreSQL 16 на настоящих векторах с 384 измерениями из Ollama, и EXPLAIN показал, что индекс используется.

Основная логика этого инструмента открыта под лицензией MIT. github.com/seigo5555/toolkitbox-lib/src/pgvector-sql.ts