~/tools / Embedding'ler ve arama (RAG) / Embeddings to pgvector INSERT

Embeddings to pgvector INSERT — Ollama /api/embed sonuçlarını ve metinleri pgvector INSERT'lerine çevirin

Embedding'e çevirdiğiniz metinleri ve Ollama'nın /api/embed (veya OpenAI uyumlu bir /v1/embeddings uç noktasının) yanıtını, PostgreSQL'deki bir pgvector tablosu için INSERT ifadelerine dönüştürün. Her metin sırasıyla vektörüyle eşleştirilir, tırnaklar kaçışlanır ve araç, siz herhangi bir şey çalıştırmadan önce sayıların ve boyutların uyuşup uyuşmadığını denetler. Hiçbir veri tarayıcınızdan çıkmaz.

BEGIN;

INSERT INTO documents (content, embedding) VALUES
  ('Embeddings turn text into numeric vectors.', '[0.620186,0.410123,0.550165,0.380114]'),
  ('pgvector stores vectors in PostgreSQL, next to the rest of your data.', '[0.578815,0.469039,0.518937,0.419142]'),
  ('Ollama''s /api/embed returns one vector per input, in the same order.', '[0.119982,0.809879,-0.329951,0.46993]');

COMMIT;

Belge parçalarınızı Ollama ile embedding'e çevirdikten sonra, vektörlerin geldikleri metinlerle birlikte veritabanına girmesi gerekir. Ollama'nın /api/embed uç noktası her girdi dizesi için bir vektör döndürür, girdiyle aynı sırada; yani ilk metin ilk vektöre aittir. Bu araç eşleştirmeyi yapar ve SQL'i yazar. Metinleri yapıştırın: /api/embed'e gönderdiğiniz JSON gövdesi olarak (bu sitedeki RAG Text Chunker onu üretir), dizelerden oluşan bir JSON dizisi olarak ya da satır başına bir metin olarak; ardından yanıtı yapıştırın. Araç, Ollama yanıtını ({"embeddings": [[…], …]}) ve OpenAI uyumlu olanı ({"data": [{"embedding": […]}]}, indeks sırasına geri konarak) okur. Vektörleri pgvector'ün metin biçiminde yazar, örneğin '[0.1,-0.2,0.3]', ve her metni bir SQL dize sabiti olarak yazar: PostgreSQL belgeleri, bir dizenin içindeki tek tırnağın iki tek tırnak olarak yazıldığını söyler; ters eğik çizgiler olduğu gibi bırakılır, çünkü standard_conforming_strings PostgreSQL 9.1'den beri varsayılan olarak açıktır. Herhangi bir şey yazmadan önce, INSERT'in başarısız olmasına ya da yanlış satırların eşleşmesine yol açacak durumları denetler: metin ve vektör sayısının farklı olması, farklı boyutlu vektörler, sütunun vector(n) değerinden farklı bir boyut, sonlu sayı olmayan değerler (pgvector NaN veya Infinity kabul etmez), base64 embedding'ler ve PostgreSQL'in text içinde saklayamadığı NUL karakteri. İfadeler BEGIN ve COMMIT içine alınır, INSERT başına 100 satırla. Çıktıyı pgvector 0.8.7 ve PostgreSQL 16 üzerinde, Ollama'dan alınan gerçek bir yanıtla, tırnak, ters eğik çizgi, satır sonu ve emoji içeren metinler dahil çalıştırdık ve metinler değişmeden geri geldi.

Bu aracın temel mantığı MIT lisansıyla açık kaynaktır. github.com/seigo5555/toolkitbox-lib/src/pgvector-insert.ts