~/tools / Embedding dan pencarian (RAG) / Embeddings to pgvector INSERT

Embeddings to pgvector INSERT — Ubah hasil /api/embed Ollama dan teks menjadi INSERT untuk pgvector

Ubah teks yang sudah Anda embed dan respons dari /api/embed milik Ollama (atau endpoint /v1/embeddings yang kompatibel dengan OpenAI) menjadi pernyataan INSERT untuk tabel pgvector di PostgreSQL. Setiap teks dipasangkan dengan vektornya secara berurutan, tanda kutip di-escape, dan alat ini memeriksa apakah jumlah dan dimensinya cocok sebelum Anda menjalankan apa pun. Tidak ada yang keluar dari browser Anda.

BEGIN;

INSERT INTO documents (content, embedding) VALUES
  ('Embeddings turn text into numeric vectors.', '[0.620186,0.410123,0.550165,0.380114]'),
  ('pgvector stores vectors in PostgreSQL, next to the rest of your data.', '[0.578815,0.469039,0.518937,0.419142]'),
  ('Ollama''s /api/embed returns one vector per input, in the same order.', '[0.119982,0.809879,-0.329951,0.46993]');

COMMIT;

Setelah Anda membuat embedding untuk chunk dokumen dengan Ollama, vektornya harus dimasukkan ke database bersama teks asalnya. /api/embed milik Ollama mengembalikan satu vektor untuk setiap string input, dengan urutan yang sama seperti input, sehingga teks pertama milik vektor pertama. Alat ini melakukan pemasangan itu dan menulis SQL-nya. Tempel teksnya, baik sebagai body JSON yang Anda kirim ke /api/embed (RAG Text Chunker di situs ini menghasilkannya), array JSON berisi string, atau satu teks per baris, lalu tempel responsnya. Alat ini membaca respons Ollama ({"embeddings": [[…], …]}) dan yang kompatibel dengan OpenAI ({"data": [{"embedding": […]}]}, dikembalikan ke urutan index). Alat ini menulis vektor dalam format teks pgvector, seperti '[0.1,-0.2,0.3]', dan menulis setiap teks sebagai konstanta string SQL: dokumentasi PostgreSQL mengatakan bahwa tanda kutip tunggal di dalam string ditulis sebagai dua tanda kutip tunggal, dan backslash dibiarkan apa adanya karena standard_conforming_strings aktif secara default sejak PostgreSQL 9.1. Sebelum menulis apa pun, alat ini memeriksa hal-hal yang akan membuat INSERT gagal atau memasangkan baris yang salah: jumlah teks dan vektor yang berbeda, vektor dengan dimensi yang berbeda, dimensi yang berbeda dari vector(n) pada kolom, nilai yang bukan bilangan terhingga (pgvector tidak menerima NaN atau Infinity), embedding base64, dan karakter NUL, yang tidak dapat disimpan PostgreSQL dalam text. Pernyataan-pernyataan itu dibungkus dengan BEGIN dan COMMIT, 100 baris per INSERT. Kami menjalankan keluarannya pada pgvector 0.8.7 dengan PostgreSQL 16 memakai respons asli dari Ollama, termasuk teks yang berisi tanda kutip, backslash, pemisah baris, dan emoji, dan teksnya kembali tanpa berubah.

Logika utama alat ini bersifat sumber terbuka dengan lisensi MIT. github.com/seigo5555/toolkitbox-lib/src/pgvector-insert.ts