~/ / Articoli sull'IA / LLM locali su un VPS / Cosa sa fare un modello locale? Tools, thinking, vision ed embedding in Ollama, e cosa entra in una VPS
Cosa sa fare un modello locale? Tools, thinking, vision ed embedding in Ollama, e cosa entra in una VPS
Un modello locale è più di una finestra di chat. La libreria di Ollama etichetta i modelli con ciò che sanno fare, e la documentazione descrive ciascuna funzione: chiamare strumenti, mostrare il proprio ragionamento, leggere immagini e trasformare il testo in vettori per la ricerca. Questo articolo spiega cosa significa ogni etichetta, elenca dieci modelli con le loro etichette e le dimensioni di download, e mostra come abbinare ciò che vuoi fare alla memoria del tuo server.
Pubblicato: · 5 min di lettura · Etichette, dimensioni e finestre di contesto verificate sulla libreria e sulla documentazione di Ollama il 2026-10-26. La libreria cambia spesso, quindi controlla la pagina del tag che intendi usare.
Le quattro etichette
La libreria di Ollama contrassegna ogni modello con le funzioni che supporta. Quattro di queste contano per ciò che costruisci su un server. La documentazione le descrive come segue.
| Etichetta | Cosa dice la documentazione | Come si usa |
|---|---|---|
| tools | Il tool calling, chiamato anche function calling, permette a un modello di invocare strumenti e di integrare i loro risultati nelle proprie risposte. Supporta una singola chiamata a uno strumento, chiamate parallele e un ciclo di agente a più turni. | Elenchi gli strumenti disponibili nel campo tools di una richiesta a /api/chat. Quando il modello chiama uno strumento, lo esegui e rimandi l'output come messaggio con il ruolo tool. |
| thinking | I modelli con capacità di thinking producono il proprio ragionamento separatamente dalla risposta finale, così puoi verificare i passaggi del modello oppure nascondere la traccia. | Imposti il parametro think in una richiesta. Il ragionamento torna in message.thinking e la risposta in message.content. |
| vision | I modelli vision accettano immagini insieme al testo, così il modello può descrivere, classificare e rispondere a domande su ciò che vede. | Passi un array images nel messaggio. L'API REST si aspetta dati immagine codificati in base64. |
| embedding | Gli embedding sono vettori numerici che puoi salvare in un database vettoriale, cercare con la similarità del coseno o usare in pipeline RAG. | Chiami /api/embed. La documentazione consiglia la similarità del coseno per la maggior parte delle ricerche semantiche, e lo stesso modello di embedding sia per l'indicizzazione sia per le interrogazioni. |
Dieci modelli e le loro etichette
Questa tabella elenca le etichette che la libreria di Ollama mostra per ogni famiglia di modelli, insieme a un tag, alla dimensione indicata nella riga di quel tag nell'elenco dei tag e alla sua finestra di contesto. La dimensione è quella del download, quindi è la memoria minima di cui il modello ha bisogno, non quella su cui pianificare.
| Tag | Labels | Download size | Context window | Cosa dice la libreria che sia |
|---|---|---|---|---|
| qwen3:4b | tools, thinking | 2.5 GB | 256K | Qwen3 è l'ultima generazione di modelli linguistici di grandi dimensioni della serie Qwen |
| llama3.2:3b | tools | 2.0 GB | 128K | Llama 3.2 di Meta punta sul piccolo con modelli da 1B e 3B |
| gemma3:4b | vision | 3.4 GB | 128K | Il modello più capace che gira su una singola GPU |
| qwen3-vl:4b | vision, tools, thinking | 3.3 GB | 256K | Il modello visione-linguaggio più potente della famiglia Qwen finora |
| deepseek-r1:7b | tools, thinking | 4.7 GB | 128K | Una famiglia di modelli di ragionamento aperti |
| qwen2.5-coder:7b | tools | 4.7 GB | 32K | L'ultima serie di modelli Qwen specifici per il codice |
| mistral:7b | tools | 4.4 GB | 32K | Il modello da 7B rilasciato da Mistral AI, aggiornato alla versione 0.3 |
| gpt-oss:20b | tools, thinking | 14 GB | 128K | I modelli open-weight di OpenAI per il ragionamento e i compiti da agente |
| nomic-embed-text | embedding | 274 MB | 2K | Un modello di embedding aperto con una grande finestra di contesto in token |
| embeddinggemma | embedding | 622 MB | 2K | Un modello di embedding da 300M di parametri di Google |
Le etichette appartengono alla famiglia del modello, e una famiglia ha più dimensioni. Apri la pagina del tag esatto che intendi usare per vedere i suoi tipi di input e la sua dimensione prima di scaricarlo.
Abbinare una funzione a un compito
La documentazione indica gli usi di ogni funzione, e questa è la nostra lettura di cosa significano per un server che gestisci da solo, non un giudizio sulla qualità:
- Tools: un assistente che può cercare qualcosa o far partire un'azione nel tuo sistema, perché il modello chiede uno strumento e il tuo codice lo esegue. La definizione dello strumento che invii deve rispettare la struttura dell'API, cosa che il Tool Definition Checker può verificare.
- Thinking: risposte in cui vuoi vedere o registrare il ragionamento del modello separatamente, per esempio mentre provi un prompt. Il ragionamento arriva prima della risposta, quindi una risposta richiede più token.
- Vision: descrivere o classificare un'immagine, o rispondere a una domanda su di essa, con un modello che accetta immagini insieme al testo.
- Embedding: ricerca per significato e recupero per RAG. I due modelli di embedding della tabella sono download piccoli, 274 MB e 622 MB, molto meno di un modello di chat.
Cosa entra in una VPS
La memoria decide cosa puoi far girare. Le dimensioni di download qui sopra sono un minimo, e la lunghezza del contesto aggiunge una KV cache in più. Per i modelli Qwen3 e Mistral 7B il calcolatore qui sotto usa i valori di configurazione ufficiali, così puoi vedere il totale per la tua lunghezza di contesto e per il piano che stai valutando.
Per gli altri modelli della tabella il calcolatore non ha un preset, perché servono il numero di layer, di KV head e la dimensione della head dal file di configurazione di ciascun modello. Puoi inserirli a mano come modello personalizzato.
Provalo: Local LLM Memory Estimator
Stima
- Pesi del modello
- 4.84 GiB
- Cache KV
- 0.56 GiB
- Riserva
- 1.00 GiB
- Totale
- 6.41 GiB (6.88 GB)
- Più piccola dimensione di memoria comune che lo contiene
- 8 GiB
Questa è una stima. Non include i buffer di calcolo del runtime e presuppone che ogni layer abbia la stessa forma KV. Misura un'esecuzione reale prima di scegliere un piano.
Dati del modello verificati il 2026-10-26.
Fonti: Ollama library · Configurazione del modello (config.json) · Ollama FAQ
Tutto viene eseguito nel tuo browser. Non viene caricato nulla.
Come scegliere
- Parti dalla funzione che ti serve, poi scegli il modello più piccolo che porta quell'etichetta, e misura memoria e velocità su un server di prova prima di impegnarti su un piano.
- Confronta la finestra di contesto della tabella con il tuo uso: i due modelli di embedding indicano 2K, e mistral:7b e qwen2.5-coder:7b indicano 32K.
- Più funzioni possono stare sullo stesso modello. Qwen3 porta tools e thinking, e Qwen3-VL aggiunge vision.
- La libreria aggiunge spesso nuovi modelli. Considera questa tabella un'istantanea alla data indicata sopra.
Fonti
Leggi anche
- Installare Ollama su un VPS e tenerlo in funzione: installazione, servizio systemd, impostazioni e aggiornamentiInstallare Ollama su un VPS Linux e tenerlo in funzione: il comando di installazione, il servizio systemd, le variabili d'ambiente, la cartella dei modelli e gli aggiornamenti, dalla documentazione ufficiale.
- Quanta memoria serve a un LLM locale su una VPS? File del modello più cache KVFile del modello più cache KV: cosa dicono la libreria di Ollama, le FAQ di Ollama e le configurazioni ufficiali dei modelli sulla memoria che serve a un LLM locale su una VPS.
- Eseguire l'IA su un proprio VPS: quanta memoria prevedere e cosa non esporrePensi di eseguire Ollama o Dify su un VPS? Cosa dice la documentazione ufficiale su memoria, inferenza solo CPU e porte da tenere chiuse.
- I bot di IA rispettano il robots.txt? Cloudflare ha iniziato a misurarlo, e come controllare i tuoi logCloudflare ora valuta se i Verified bots (bot verificati) rispettano il robots.txt e l'HTTP 429. Cosa ha annunciato e come controllare i tuoi log e il tuo robots.txt.