~/tools / 埋め込みと検索(RAG) / Embeddings to pgvector INSERT

Embeddings to pgvector INSERT — 埋め込みを pgvector の INSERT 文にする

embeddingにしたテキストと、Ollamaの /api/embed(またはOpenAI互換の /v1/embeddings)のレスポンスから、PostgreSQLのpgvectorテーブル向けの INSERT 文を作ります。各テキストをベクトルと順番に対応づけ、引用符をエスケープし、実行する前に件数と次元数が合っているかを確認します。データがブラウザの外に出ることはありません。

BEGIN;

INSERT INTO documents (content, embedding) VALUES
  ('Embeddings turn text into numeric vectors.', '[0.620186,0.410123,0.550165,0.380114]'),
  ('pgvector stores vectors in PostgreSQL, next to the rest of your data.', '[0.578815,0.469039,0.518937,0.419142]'),
  ('Ollama''s /api/embed returns one vector per input, in the same order.', '[0.119982,0.809879,-0.329951,0.46993]');

COMMIT;

文書のチャンクをOllamaでembeddingにしたら、そのベクトルを、元のテキストと一緒にデータベースへ入れる必要があります。Ollamaの /api/embed は、入力の文字列1つにつきベクトルを1つ、入力と同じ順序で返すので、1つ目のテキストが1つ目のベクトルに対応します。このツールは、その対応づけをして、SQLを書きます。テキストは、/api/embed に送ったJSONのボディ(このサイトのRAG Text Chunkerが作るもの)、文字列のJSON配列、または1行に1つの形で貼り付け、レスポンスも貼り付けます。ツールは、Ollamaのレスポンス({"embeddings": [[…], …]})と、OpenAI互換のレスポンス({"data": [{"embedding": […]}]}、index順に並べ直します)を読み込みます。ベクトルは '[0.1,-0.2,0.3]' のようなpgvectorのテキスト形式で書き、各テキストはSQLの文字列定数として書きます。PostgreSQLのドキュメントによると、文字列の中の単一引用符は単一引用符を2つ重ねて書きます。バックスラッシュは、PostgreSQL 9.1以降 standard_conforming_strings がデフォルトでオンなので、そのまま残します。何かを書く前に、INSERT が失敗したり行の対応がずれたりする原因を確認します。テキストとベクトルの数が違う、ベクトルの次元数が揃っていない、次元数が列の vector(n) と違う、有限の数でない値がある(pgvectorは NaN や Infinity を受け付けません)、base64のembedding、PostgreSQLがtextに保存できない NUL 文字です。文は BEGIN と COMMIT で囲み、INSERT 1つにつき100行にまとめます。出力は、Ollamaの実際のレスポンスを使い、PostgreSQL 16上のpgvector 0.8.7で実行しました。引用符、バックスラッシュ、改行、絵文字を含むテキストも、変わらずに戻ってきました。

このツールの計算部分は、オープンソース(MIT ライセンス)で公開しています。 github.com/seigo5555/toolkitbox-lib/src/pgvector-insert.ts