~/tools / Local LLM Memory Estimator
Local LLM Memory Estimator — Stima la memoria di un LLM locale: file del modello più cache KV
Stima quanta memoria serve a un LLM locale su un VPS o sul tuo computer: il file del modello più la cache KV per la lunghezza del contesto e il numero di richieste parallele. I preset usano le dimensioni di download ufficiali e le configurazioni dei modelli Qwen3 e Mistral 7B. Nulla lascia il tuo browser.
Stima
- Pesi del modello
- 4.84 GiB
- Cache KV
- 0.56 GiB
- Riserva
- 1.00 GiB
- Totale
- 6.41 GiB (6.88 GB)
- Più piccola dimensione di memoria comune che lo contiene
- 8 GiB
Questa è una stima. Non include i buffer di calcolo del runtime e presuppone che ogni layer abbia la stessa forma KV. Misura un'esecuzione reale prima di scegliere un piano.
Dati del modello verificati il 2026-10-26.
Fonti: Ollama library · Configurazione del modello (config.json) · Ollama FAQ
Tutto viene eseguito nel tuo browser. Non viene caricato nulla.
Un modello linguistico locale ha bisogno di memoria per due cose. La prima è il modello stesso, grande più o meno quanto il suo file da scaricare. La seconda è la cache KV, che cresce con la lunghezza del contesto e con il numero di richieste che il server gestisce nello stesso momento. L'Ollama FAQ indica che la RAM necessaria scala con OLLAMA_NUM_PARALLEL moltiplicato per OLLAMA_CONTEXT_LENGTH, e che quantizzare la cache con q8_0 usa circa la metà della memoria di f16 e q4_0 circa un quarto. Questo strumento somma le due parti per te. Prende la dimensione del file dalla Ollama library, e il numero di layer, di KV heads e la dimensione della head dal file di configurazione ufficiale di ciascun modello, e calcola la cache come 2 × layer × KV heads × dimensione della head × lunghezza del contesto × richieste parallele × byte per valore. Poi aggiunge una riserva per il sistema operativo e gli altri servizi, mostra il totale in GiB e GB, indica la più piccola dimensione di memoria comune che lo contiene e ti dice se rientra nel piano VPS che inserisci. Il risultato è una stima, non una misura: non include i buffer di calcolo propri del runtime, e un server reale va misurato prima di scegliere un piano. I dati dei modelli sono stati verificati alla data indicata sotto lo strumento.
Casi d'uso
- Scegliere la quantità di memoria di un piano VPS prima di pagarlo
- Vedere che effetto hanno sulla memoria l'aumento della lunghezza del contesto o del numero di richieste parallele
- Confrontare un modello più piccolo con uno più grande per lo stesso server
Utilizzo
- Scegli un modello, oppure scegli la voce personalizzata e inserisci la dimensione del file, i layer, le KV heads e la dimensione della head del tuo modello.
- Imposta la lunghezza del contesto, il numero di richieste parallele, il tipo di cache KV e una riserva per il sistema operativo e gli altri servizi.
- Se vuoi, inserisci la memoria del piano che stai valutando per vedere se la stima rientra e con quale margine.
FAQ
Come viene calcolata la memoria?
Lo strumento somma tre parti. I pesi sono la dimensione di download del file del modello. La cache KV è 2 × layer × KV heads × dimensione della head × lunghezza del contesto × richieste parallele × byte per valore, dove un valore occupa 2 byte in f16, circa 1 byte in q8_0 e circa mezzo byte in q4_0, secondo i rapporti indicati nell'Ollama FAQ. La terza parte è una riserva che imposti tu per il sistema operativo e gli altri servizi.
Da dove vengono i numeri dei modelli?
Le dimensioni dei file e la quantizzazione sono quelle che la Ollama library mostra per ciascun tag. Il numero di layer, di KV heads e la dimensione della head provengono dal config.json ufficiale di ciascun modello su Hugging Face. Per Mistral 7B, che non indica la dimensione della head, si usa la dimensione nascosta divisa per il numero di attention heads. La data della verifica è indicata sotto lo strumento.
Perché il risultato è solo una stima?
Il runtime ha bisogno anche di memoria di lavoro per i suoi buffer di calcolo, che questo strumento non include, e l'uso reale dipende dal runtime e dalle sue impostazioni. Misura l'uso di memoria di un'esecuzione reale prima di scegliere un piano e lascia un po' di margine.
Qual è la differenza tra GB e GiB?
Un GB è 1.000.000.000 di byte e un GiB è 1.073.741.824 byte. Lo strumento mostra entrambi per il totale e confronta la memoria del piano che inserisci con il totale in GiB, per non sovrastimare ciò che ci sta. I "GB" di un provider possono significare l'uno o l'altro, quindi verifica come li conta il tuo provider.
Posso usare un modello che non è nell'elenco?
Sì. Scegli la voce personalizzata e inserisci la dimensione del file, i layer, le KV heads e la dimensione della head, che si trovano nel config.json del modello. La formula presuppone che ogni layer abbia la stessa forma KV, quindi non si adatta ai modelli che mescolano tipi di layer, usano finestre scorrevoli o usano un mixture of experts.
Cosa cambia il tipo di cache KV?
Cambia solo la dimensione della cache, non i pesi. Secondo l'Ollama FAQ, q8_0 usa circa la metà della memoria di f16 e q4_0 circa un quarto. Questo strumento non misura come una cache più piccola influisca sulle risposte.
I miei dati vengono inviati a un server?
No. Il calcolo viene eseguito nel tuo browser.