Embedding con Ollama: le basi per ricerca e RAG

La pagina degli embedding di Ollama dice che gli embedding trasformano il testo in vettori numerici che si possono salvare in un database vettoriale, cercare con la similarità del coseno o usare in pipeline di RAG. La lunghezza del vettore dipende dal modello; la pagina indica tipicamente da 384 a 1024 dimensioni.

Una ricerca crea l'embedding della domanda con lo stesso modello e cerca i vettori salvati che le somigliano di più.

L'endpoint è POST /api/embed. La richiesta richiede model e input, e input può essere una singola stringa oppure un array di stringhe. Con un array, la risposta contiene un vettore per ogni stringa nel campo embeddings, nello stesso ordine, quindi un gruppo di passaggi richiede una sola richiesta.

La documentazione mostra anche la riga di comando: ollama run embeddinggemma "Hello world" stampa il vettore come array JSON, e il testo si può passare con una pipe usando echo.

La libreria di Ollama ha una categoria dedicata agli embedding. La tabella mostra sei dei modelli elencati, con la dimensione e la finestra di contesto che la pagina dei tag di ciascun modello indica per il tag latest. Quattro dei sei sono sotto 1GB.

La finestra di contesto si conta in token. Poiché truncate è true per impostazione predefinita, un testo più lungo della finestra di contesto del modello viene accorciato e restituisce comunque un vettore, senza alcun errore. Un documento lungo inviato come un unico input può perdere così la sua parte finale.

Due cose aiutano. Dividere i documenti lunghi in pezzi (chunk) più piccoli e creare l'embedding di ciascuno, il che permette anche a una ricerca di restituire la parte che risponde alla domanda. E inviare truncate con il valore false, in modo che Ollama restituisca un errore invece di accorciare un pezzo ancora troppo lungo.

Lo strumento qui sotto divide il testo in corrispondenza di paragrafi, righe, frasi e spazi, con una sovrapposizione (overlap), e costruisce un'unica richiesta /api/embed per tutti i pezzi. Conta i caratteri, non i token, perché ogni modello ha un proprio tokenizer, quindi lascia un margine sotto la finestra di contesto.

La pagina degli embedding dice di usare lo stesso modello di embedding sia per l'indicizzazione sia per l'interrogazione. La lunghezza del vettore dipende dal modello, quindi i vettori di due modelli diversi possono non avere nemmeno lo stesso numero di dimensioni.

Lo stesso vale per dimensions: se lo imposti quando indicizzi i documenti, imposta lo stesso valore quando crei gli embedding delle domande. Se cambi il modello o questa impostazione, ricrea gli embedding dei documenti salvati.

La documentazione raccomanda la similarità del coseno per la maggior parte dei casi di ricerca semantica e dice che /api/embed restituisce vettori normalizzati L2, di lunghezza unitaria. Per vettori di lunghezza unitaria, la similarità del coseno e il prodotto scalare sono lo stesso numero, quindi un database vettoriale impostato su uno dei due ordinerà i risultati allo stesso modo.

Per provare un modello sui tuoi testi prima di costruire qualsiasi cosa, crea in un'unica richiesta l'embedding di una domanda e di alcuni passaggi, con la domanda per prima. Incolla la risposta qui sotto: i passaggi vengono ordinati per similarità del coseno con la domanda, e lo strumento mostra se tutti i vettori hanno lunghezza unitaria e le stesse dimensioni.

Un modello di embedding viene caricato come qualsiasi altro modello. Le FAQ di Ollama dicono che OLLAMA_MAX_LOADED_MODELS, il numero di modelli che possono essere caricati contemporaneamente se stanno in memoria, ha come valore predefinito 3 volte il numero di GPU, oppure 3 per l'inferenza su CPU. Quindi un modello di chat e un modello di embedding possono restare caricati insieme quando la memoria lo consente.

Il nostro articolo su come tenere d'occhio la memoria di Ollama spiega ollama ps, keep_alive e le altre impostazioni che decidono che cosa resta in memoria.