~/tools / 임베딩과 검색(RAG) / Embeddings to pgvector INSERT

Embeddings to pgvector INSERT — Ollama /api/embed 결과와 텍스트를 pgvector INSERT 문으로 바꾸기

임베딩한 텍스트와 Ollama의 /api/embed(또는 OpenAI 호환 /v1/embeddings 엔드포인트) 응답을 PostgreSQL pgvector 테이블용 INSERT 문으로 바꿉니다. 각 텍스트를 벡터와 순서대로 짝지어 따옴표를 이스케이프하고, 실행하기 전에 개수와 차원 수가 맞는지 확인합니다. 데이터는 브라우저 밖으로 나가지 않습니다.

BEGIN;

INSERT INTO documents (content, embedding) VALUES
  ('Embeddings turn text into numeric vectors.', '[0.620186,0.410123,0.550165,0.380114]'),
  ('pgvector stores vectors in PostgreSQL, next to the rest of your data.', '[0.578815,0.469039,0.518937,0.419142]'),
  ('Ollama''s /api/embed returns one vector per input, in the same order.', '[0.119982,0.809879,-0.329951,0.46993]');

COMMIT;

문서 청크를 Ollama로 임베딩하고 나면, 벡터를 그 출처가 된 텍스트와 함께 데이터베이스에 넣어야 합니다. Ollama의 /api/embed는 입력 문자열마다 벡터 하나를 입력과 같은 순서로 돌려주므로, 첫 번째 텍스트는 첫 번째 벡터에 해당합니다. 이 도구는 그 짝짓기를 하고 SQL을 작성합니다. 텍스트는 /api/embed에 보낸 JSON 본문(이 사이트의 RAG Text Chunker가 만들어 줍니다), 문자열의 JSON 배열, 또는 한 줄에 하나로 붙여 넣고, 응답도 붙여 넣습니다. 도구는 Ollama 응답({"embeddings": [[…], …]})과 OpenAI 호환 응답({"data": [{"embedding": […]}]}, index 순서로 다시 정렬)을 읽습니다. 벡터는 '[0.1,-0.2,0.3]'처럼 pgvector의 텍스트 형식으로 쓰고, 각 텍스트는 SQL 문자열 상수로 씁니다. PostgreSQL 문서에 따르면 문자열 안의 작은따옴표는 작은따옴표 두 개로 쓰며, 백슬래시는 PostgreSQL 9.1부터 standard_conforming_strings가 기본으로 켜져 있으므로 그대로 둡니다. 무엇이든 쓰기 전에, INSERT를 실패하게 하거나 행을 잘못 짝짓게 할 수 있는 것들을 확인합니다. 텍스트와 벡터의 개수가 다른 경우, 벡터의 차원 수가 서로 다른 경우, 차원 수가 열의 vector(n)과 다른 경우, 유한한 수가 아닌 값(pgvector는 NaN이나 Infinity를 받지 않습니다), base64 임베딩, 그리고 PostgreSQL이 text에 저장할 수 없는 NUL 문자입니다. 문은 BEGIN과 COMMIT으로 감싸고, INSERT 하나에 100행씩 담습니다. 출력은 Ollama의 실제 응답으로 PostgreSQL 16의 pgvector 0.8.7에서 실행했으며, 따옴표, 백슬래시, 줄바꿈, 이모지가 들어 있는 텍스트도 그대로 돌아왔습니다.

이 도구의 핵심 로직은 MIT 라이선스의 오픈 소스로 공개되어 있습니다. github.com/seigo5555/toolkitbox-lib/src/pgvector-insert.ts