~/tools / Embeddings und Suche (RAG) / Embeddings to pgvector INSERT

Embeddings to pgvector INSERT — Ergebnisse von Ollama /api/embed und Texte in pgvector-INSERTs umwandeln

Verwandeln Sie die eingebetteten Texte und die Antwort von /api/embed von Ollama (oder eines OpenAI-kompatiblen Endpunkts /v1/embeddings) in INSERT-Anweisungen für eine pgvector-Tabelle in PostgreSQL. Jeder Text wird der Reihe nach seinem Vektor zugeordnet, Anführungszeichen werden maskiert, und das Tool prüft, ob Anzahl und Dimensionen übereinstimmen, bevor Sie etwas ausführen. Nichts verlässt Ihren Browser.

BEGIN;

INSERT INTO documents (content, embedding) VALUES
  ('Embeddings turn text into numeric vectors.', '[0.620186,0.410123,0.550165,0.380114]'),
  ('pgvector stores vectors in PostgreSQL, next to the rest of your data.', '[0.578815,0.469039,0.518937,0.419142]'),
  ('Ollama''s /api/embed returns one vector per input, in the same order.', '[0.119982,0.809879,-0.329951,0.46993]');

COMMIT;

Nachdem Sie Ihre Textabschnitte mit Ollama eingebettet haben, müssen die Vektoren zusammen mit den Texten, aus denen sie stammen, in die Datenbank. /api/embed von Ollama liefert zu jedem Eingabestring einen Vektor, in derselben Reihenfolge wie die Eingabe, der erste Text gehört also zum ersten Vektor. Dieses Tool übernimmt die Zuordnung und schreibt das SQL. Fügen Sie die Texte ein, entweder als JSON-Body, den Sie an /api/embed gesendet haben (der RAG Text Chunker auf dieser Website erzeugt ihn), als JSON-Array von Strings oder einen pro Zeile, und fügen Sie die Antwort ein. Das Tool liest die Antwort von Ollama ({"embeddings": [[…], …]}) und die OpenAI-kompatible ({"data": [{"embedding": […]}]}, wieder in die Reihenfolge des Index gebracht). Es schreibt die Vektoren im Textformat von pgvector, etwa '[0.1,-0.2,0.3]', und schreibt jeden Text als SQL-Stringkonstante: Laut PostgreSQL-Dokumentation wird ein einfaches Anführungszeichen in einem String als zwei einfache Anführungszeichen geschrieben, und Backslashes bleiben unverändert, weil standard_conforming_strings seit PostgreSQL 9.1 standardmäßig eingeschaltet ist. Bevor etwas geschrieben wird, prüft das Tool, was das INSERT scheitern lassen oder falsche Zeilen zuordnen würde: eine unterschiedliche Anzahl von Texten und Vektoren, Vektoren mit unterschiedlichen Dimensionen, eine Dimension, die vom vector(n) der Spalte abweicht, Werte, die keine endlichen Zahlen sind (pgvector akzeptiert weder NaN noch Infinity), base64-Embeddings und das Zeichen NUL, das PostgreSQL nicht in text speichern kann. Die Anweisungen werden in BEGIN und COMMIT eingefasst, mit 100 Zeilen pro INSERT. Wir haben die Ausgabe mit pgvector 0.8.7 und PostgreSQL 16 mit einer echten Antwort von Ollama ausgeführt, einschließlich Texten mit Anführungszeichen, Backslashes, Zeilenumbrüchen und Emoji, und die Texte kamen unverändert zurück.

Die Kernlogik dieses Tools ist Open Source unter der MIT-Lizenz. github.com/seigo5555/toolkitbox-lib/src/pgvector-insert.ts