toolkitbox

~/ / Articoli sull'IA / LLM locali su un VPS / Tenere d'occhio la memoria di Ollama su una piccola VPS

Tenere d'occhio la memoria di Ollama su una piccola VPS

Su un piccolo server la memoria è il limite, e Ollama tiene un modello in memoria anche dopo aver risposto. Questo articolo mostra come vedere cosa è caricato, per quanto tempo resta, quanti modelli e quante richieste Ollama gestisce contemporaneamente e quali impostazioni cambiano l'uso della memoria. Ogni valore predefinito qui sotto è citato dalle FAQ ufficiali.

Pubblicato: · 3 min di lettura · Fatti verificati sulla documentazione ufficiale di Ollama il 2026-10-27. I valori predefiniti possono cambiare da una versione all'altra, quindi controlla le FAQ della versione che usi.

Vedere cosa è caricato

Le FAQ indicano di usare ollama ps per vedere quali modelli sono attualmente caricati in memoria. La colonna PROCESSOR dice dove si trova un modello.

PROCESSOR mostraCosa significa secondo le FAQ
100% GPUIl modello è stato caricato interamente nella GPU.
100% CPUIl modello è stato caricato interamente nella memoria di sistema.
48%/52% CPU/GPUIl modello è stato caricato in parte nella GPU e in parte nella memoria di sistema.

Su una VPS senza GPU, 100% CPU è la lettura attesa: il modello si trova nella memoria del server.

Per quanto tempo un modello resta in memoria

Per impostazione predefinita, dicono le FAQ, i modelli restano in memoria per 5 minuti prima di essere scaricati. Puoi cambiare questo valore per l'intero server o per una singola richiesta.

Cosa vuoi fareCome, secondo le FAQ
Scaricare subito un modelloollama stop llama3.2
Tenere un modello caricatoInvia keep_alive con un numero negativo, per esempio -1, in una richiesta a /api/generate o /api/chat.
Scaricare subito dopo la rispostaInvia keep_alive impostato a 0.
Un altro intervallo di tempokeep_alive accetta anche una stringa di durata come 10m o 24h, oppure un numero di secondi come 3600.
Impostarlo per l'intero serverImposta la variabile d'ambiente OLLAMA_KEEP_ALIVE quando avvii il server. Accetta lo stesso tipo di valori. Un keep_alive in una richiesta ha la precedenza su di essa.

La nostra interpretazione, non un'affermazione dei documenti: quando lo stesso server esegue anche altro, come Dify o una schermata di chat, un modello che resta caricato sottrae loro la sua memoria. Un tempo più breve libera la memoria prima, e la richiesta successiva deve caricare di nuovo il modello. Non abbiamo misurato quanto tempo richieda.

Più modelli, più richieste

Le FAQ descrivono tre limiti e una regola. Se un nuovo modello non entra nella memoria disponibile mentre altri modelli sono caricati, le nuove richieste vengono messe in coda finché non può essere caricato, e i modelli inattivi vengono scaricati per fargli spazio.

Lo stimatore qui sotto ha un campo per le richieste parallele, così puoi vedere che effetto ha un'impostazione più alta sul totale.

ImpostazioneCosa dicono le FAQ
OLLAMA_MAX_LOADED_MODELSIl numero massimo di modelli che possono essere caricati contemporaneamente, purché entrino nella memoria disponibile. Il valore predefinito è 3 volte il numero di GPU, oppure 3 per l'inferenza su CPU.
OLLAMA_NUM_PARALLELIl numero massimo di richieste parallele che ogni modello elabora nello stesso momento. Il valore predefinito è 1. La RAM necessaria cresce con OLLAMA_NUM_PARALLEL moltiplicato per OLLAMA_CONTEXT_LENGTH.
OLLAMA_MAX_QUEUEIl numero massimo di richieste che Ollama mette in coda quando è occupato, prima di rifiutarne altre. Il valore predefinito è 512. Le richieste rifiutate ricevono un errore 503.

Provalo: Local LLM Memory Estimator

Modello

Tag Ollama qwen3:8b, quantizzazione Q4_K_M, dimensione di download 5.2 GB.

Stima

Pesi del modello
4.84 GiB
Cache KV
0.56 GiB
Riserva
1.00 GiB
Totale
6.41 GiB (6.88 GB)
Più piccola dimensione di memoria comune che lo contiene
8 GiB

Questa è una stima. Non include i buffer di calcolo del runtime e presuppone che ogni layer abbia la stessa forma KV. Misura un'esecuzione reale prima di scegliere un piano.

Dati del modello verificati il 2026-10-26.

Fonti: Ollama library · Configurazione del modello (config.json) · Ollama FAQ

Tutto viene eseguito nel tuo browser. Non viene caricato nulla.

Impostazioni che cambiano l'uso della memoria

ImpostazioneCosa dicono le FAQ
OLLAMA_CONTEXT_LENGTHPer impostazione predefinita Ollama usa una finestra di contesto di 4096 tokens. La variabile d'ambiente la sovrascrive, e num_ctx può essere impostato per sessione o tramite l'API.
OLLAMA_KV_CACHE_TYPEIl tipo di quantizzazione per la cache K/V. Il valore predefinito è f16.
OLLAMA_FLASH_ATTENTIONImpostala a 1 quando avvii il server per forzare l'attivazione di Flash Attention. Le FAQ dicono che Ollama la attiva automaticamente quando il backend e i dispositivi la supportano.

Le variabili d'ambiente del server vanno in un override di systemd. L'articolo sull'installazione di Ollama su una VPS mostra i passaggi. Non abbiamo misurato quanta memoria fa risparmiare ogni impostazione sul tuo server, quindi controlla con ollama ps dopo ogni modifica.

Fonti

Leggi anche