~/tools / Embeddingi i wyszukiwanie (RAG) / Embeddings to pgvector INSERT

Embeddings to pgvector INSERT — Wyniki Ollamy /api/embed i teksty na polecenia INSERT dla pgvector

Zamień teksty, dla których utworzono embeddingi, i odpowiedź z /api/embed Ollamy (albo z endpointu /v1/embeddings zgodnego z OpenAI) na polecenia INSERT dla tabeli pgvector w PostgreSQL. Każdy tekst jest łączony ze swoim wektorem według kolejności, cudzysłowy są poprawnie zapisywane, a narzędzie sprawdza zgodność liczby i wymiarów, zanim cokolwiek uruchomisz. Nic nie opuszcza Twojej przeglądarki.

BEGIN;

INSERT INTO documents (content, embedding) VALUES
  ('Embeddings turn text into numeric vectors.', '[0.620186,0.410123,0.550165,0.380114]'),
  ('pgvector stores vectors in PostgreSQL, next to the rest of your data.', '[0.578815,0.469039,0.518937,0.419142]'),
  ('Ollama''s /api/embed returns one vector per input, in the same order.', '[0.119982,0.809879,-0.329951,0.46993]');

COMMIT;

Gdy fragmenty dokumentów zostaną zamienione w embeddingi w Ollamie, wektory trzeba zapisać w bazie razem z tekstami, z których pochodzą. /api/embed Ollamy zwraca jeden wektor na każdy ciąg wejściowy, w tej samej kolejności co dane wejściowe, więc pierwszy tekst odpowiada pierwszemu wektorowi. To narzędzie wykonuje to łączenie i pisze SQL. Wklej teksty: jako treść JSON, którą wysłano do /api/embed (tworzy ją RAG Text Chunker na tej stronie), jako tablicę JSON ciągów albo po jednym w wierszu, oraz wklej odpowiedź. Narzędzie odczytuje odpowiedź Ollamy ({"embeddings": [[…], …]}) i odpowiedź zgodną z OpenAI ({"data": [{"embedding": […]}]}, ułożoną z powrotem według indeksu). Zapisuje wektory w formacie tekstowym pgvector, na przykład '[0.1,-0.2,0.3]', a każdy tekst jako stałą łańcuchową SQL: dokumentacja PostgreSQL mówi, że apostrof wewnątrz ciągu zapisuje się jako dwa apostrofy, a ukośniki wsteczne zostają bez zmian, ponieważ standard_conforming_strings jest domyślnie włączone od PostgreSQL 9.1. Zanim cokolwiek zapisze, sprawdza to, co spowodowałoby błąd INSERT albo połączenie niewłaściwych wierszy: różną liczbę tekstów i wektorów, wektory o różnych wymiarach, wymiar różny od vector(n) kolumny, wartości, które nie są skończonymi liczbami (pgvector nie przyjmuje NaN ani Infinity), embeddingi w base64 oraz znak NUL, którego PostgreSQL nie może przechować w text. Polecenia są ujęte w BEGIN i COMMIT, po 100 wierszy na INSERT. Uruchomiliśmy wynik na pgvector 0.8.7 z PostgreSQL 16, używając prawdziwej odpowiedzi z Ollamy, w tym tekstów z cudzysłowami, ukośnikami wstecznymi, podziałami wierszy i emoji, a teksty wróciły bez zmian.

Główna logika tego narzędzia jest otwartoźródłowa, na licencji MIT. github.com/seigo5555/toolkitbox-lib/src/pgvector-insert.ts