~/tools / Embedding và tìm kiếm (RAG) / Embeddings to pgvector INSERT

Embeddings to pgvector INSERT — Biến kết quả /api/embed của Ollama và văn bản thành INSERT cho pgvector

Biến các văn bản bạn đã tạo embedding và phản hồi từ /api/embed của Ollama (hoặc một endpoint /v1/embeddings tương thích OpenAI) thành các câu lệnh INSERT cho một bảng pgvector trong PostgreSQL. Mỗi văn bản được ghép với vector của nó theo thứ tự, dấu nháy được thoát, và công cụ kiểm tra số lượng và số chiều có khớp không trước khi bạn chạy bất cứ thứ gì. Không có gì rời khỏi trình duyệt của bạn.

BEGIN;

INSERT INTO documents (content, embedding) VALUES
  ('Embeddings turn text into numeric vectors.', '[0.620186,0.410123,0.550165,0.380114]'),
  ('pgvector stores vectors in PostgreSQL, next to the rest of your data.', '[0.578815,0.469039,0.518937,0.419142]'),
  ('Ollama''s /api/embed returns one vector per input, in the same order.', '[0.119982,0.809879,-0.329951,0.46993]');

COMMIT;

Sau khi bạn tạo embedding cho các chunk tài liệu bằng Ollama, các vector phải được đưa vào cơ sở dữ liệu cùng với văn bản mà chúng sinh ra từ đó. /api/embed của Ollama trả về một vector cho mỗi chuỗi đầu vào, theo cùng thứ tự với đầu vào, nên văn bản đầu tiên thuộc về vector đầu tiên. Công cụ này thực hiện việc ghép và viết SQL. Hãy dán các văn bản, dưới dạng phần thân JSON bạn đã gửi tới /api/embed (RAG Text Chunker trên trang này tạo ra nó), một mảng JSON các chuỗi, hoặc mỗi dòng một văn bản, rồi dán phản hồi. Công cụ đọc phản hồi của Ollama ({"embeddings": [[…], …]}) và phản hồi tương thích OpenAI ({"data": [{"embedding": […]}]}, được sắp lại theo thứ tự index). Nó viết các vector theo định dạng văn bản của pgvector, chẳng hạn '[0.1,-0.2,0.3]', và viết mỗi văn bản thành một hằng chuỗi SQL: tài liệu PostgreSQL nói rằng một dấu nháy đơn trong chuỗi được viết thành hai dấu nháy đơn, và dấu gạch chéo ngược được giữ nguyên vì standard_conforming_strings được bật theo mặc định từ PostgreSQL 9.1. Trước khi viết bất cứ thứ gì, nó kiểm tra những điều khiến INSERT thất bại hoặc ghép nhầm hàng: số lượng văn bản và vector khác nhau, các vector có số chiều khác nhau, số chiều khác với vector(n) của cột, các giá trị không phải số hữu hạn (pgvector không chấp nhận NaN hay Infinity), embedding dạng base64, và ký tự NUL mà PostgreSQL không thể lưu trong text. Các câu lệnh được bao trong BEGIN và COMMIT, 100 hàng cho mỗi INSERT. Chúng tôi đã chạy đầu ra trên pgvector 0.8.7 với PostgreSQL 16 bằng một phản hồi thật từ Ollama, kể cả các văn bản có dấu nháy, dấu gạch chéo ngược, ngắt dòng và emoji, và các văn bản quay lại không thay đổi.

Phần xử lý chính của công cụ này là mã nguồn mở theo giấy phép MIT. github.com/seigo5555/toolkitbox-lib/src/pgvector-insert.ts