~/tools / Эмбеддинги и поиск (RAG) / Embeddings to pgvector INSERT

Embeddings to pgvector INSERT — Результаты Ollama /api/embed и тексты в INSERT для pgvector

Превратите тексты, для которых вы создали эмбеддинги, и ответ /api/embed от Ollama (или эндпоинта /v1/embeddings, совместимого с OpenAI) в операторы INSERT для таблицы pgvector в PostgreSQL. Каждый текст сопоставляется со своим вектором по порядку, кавычки экранируются, а инструмент проверяет, совпадают ли количества и измерения, прежде чем вы что-либо выполните. Ничто не покидает ваш браузер.

BEGIN;

INSERT INTO documents (content, embedding) VALUES
  ('Embeddings turn text into numeric vectors.', '[0.620186,0.410123,0.550165,0.380114]'),
  ('pgvector stores vectors in PostgreSQL, next to the rest of your data.', '[0.578815,0.469039,0.518937,0.419142]'),
  ('Ollama''s /api/embed returns one vector per input, in the same order.', '[0.119982,0.809879,-0.329951,0.46993]');

COMMIT;

После того как вы создали эмбеддинги для фрагментов документов в Ollama, векторы нужно записать в базу данных вместе с текстами, из которых они получены. /api/embed в Ollama возвращает по одному вектору на каждую входную строку, в том же порядке, что и вход, поэтому первому тексту соответствует первый вектор. Этот инструмент выполняет сопоставление и пишет SQL. Вставьте тексты — как тело JSON, которое вы отправляли в /api/embed (его создаёт RAG Text Chunker на этом сайте), как массив строк JSON или по одному на строку — и вставьте ответ. Инструмент читает ответ Ollama ({"embeddings": [[…], …]}) и ответ, совместимый с OpenAI ({"data": [{"embedding": […]}]}, приведённый обратно к порядку по индексу). Он записывает векторы в текстовом формате pgvector, например '[0.1,-0.2,0.3]', а каждый текст — как строковую константу SQL: документация PostgreSQL говорит, что одинарная кавычка внутри строки записывается как две одинарные кавычки, а обратные косые черты остаются как есть, потому что standard_conforming_strings включён по умолчанию начиная с PostgreSQL 9.1. Прежде чем что-либо записать, он проверяет то, из-за чего INSERT завершится ошибкой или сопоставит не те строки: разное число текстов и векторов, векторы с разными измерениями, измерение, отличающееся от vector(n) столбца, значения, не являющиеся конечными числами (pgvector не принимает NaN и Infinity), эмбеддинги в base64 и символ NUL, который PostgreSQL не может сохранить в text. Операторы заключаются в BEGIN и COMMIT, по 100 строк на INSERT. Мы выполнили результат на pgvector 0.8.7 с PostgreSQL 16, используя настоящий ответ Ollama, включая тексты с кавычками, обратными косыми чертами, переводами строк и эмодзи, и тексты вернулись без изменений.

Основная логика этого инструмента открыта под лицензией MIT. github.com/seigo5555/toolkitbox-lib/src/pgvector-insert.ts