~/ / Articoli sull'IA / LLM locali su un VPS / Eseguire l'IA su un proprio VPS: quanta memoria prevedere e cosa non esporre
Eseguire l'IA su un proprio VPS: quanta memoria prevedere e cosa non esporre
Eseguire un modello linguistico o un costruttore di app di IA su un VPS a noleggio è allettante: un canone mensile fisso e i tuoi dati su un server che controlli tu. Ma il piano che scegli decide se funzionerà davvero, e un'installazione con le impostazioni predefinite può lasciare un servizio raggiungibile da internet. Questo articolo raccoglie ciò che la documentazione ufficiale di Ollama e Dify dice su memoria, funzionamento solo CPU ed esposizione di rete, così da poter scegliere un piano prima di pagarlo.
Pubblicato: · 5 min di lettura · Verificato con la documentazione ufficiale il 2026-10-26. Versioni e impostazioni predefinite cambiano, quindi controlla i documenti aggiornati prima di installare.
Cosa deve starci in memoria
La dimensione di download di un modello è la quantità minima di memoria di cui ha bisogno, non quella che conviene prevedere. La libreria di Ollama riporta la dimensione di download di ogni tag. Per esempio, Llama 3.2 è indicato con 1.3 GB per il tag 1b e 2.0 GB per il tag 3b, entrambi con una finestra di contesto di 128K.
Oltre al modello, la memoria cresce con il contesto. Le FAQ di Ollama affermano che la RAM necessaria scala con OLLAMA_NUM_PARALLEL moltiplicato per OLLAMA_CONTEXT_LENGTH, e portano un esempio: un contesto di 2K con 4 richieste parallele diventa un contesto di 8K e richiede memoria aggiuntiva. Le FAQ dicono anche che quantizzare la cache chiave-valore con q8_0 usa circa la metà della memoria di f16, e q4_0 circa un quarto.
| Tag del modello | Dimensione di download | Finestra di contesto |
|---|---|---|
| llama3.2:1b | 1.3 GB | 128K |
| llama3.2:3b | 2.0 GB | 128K |
- Le FAQ di Ollama indicano 4096 token come finestra di contesto predefinita, e la pagina sulla lunghezza del contesto dice che il valore predefinito dipende dalla VRAM della tua GPU (4k sotto i 24 GiB). Controlla il valore che la tua installazione usa davvero.
- Il README di Ollama che abbiamo consultato non elenca un requisito di RAM per ciascuna dimensione di modello. Meglio misurare che tirare a indovinare: carica il modello con la lunghezza di contesto che intendi usare, invia un prompt e osserva l'uso di memoria del server.
- Lascia spazio per il sistema operativo e per ogni altro servizio sullo stesso server.
Le dimensioni di download sono state lette dalla pagina della libreria di Ollama alla data indicata sopra. Sono dimensioni di file, non uso di memoria misurato.
Senza GPU: cosa significa solo CPU
La maggior parte dei piani VPS non ha una GPU, quindi un modello gira sulla CPU e nella memoria di sistema. Le FAQ di Ollama descrivono questo caso: ollama ps mostra 100% CPU nella colonna PROCESSOR quando un modello è stato caricato interamente nella memoria di sistema, e il valore predefinito di OLLAMA_MAX_LOADED_MODELS è 3 per l'inferenza su CPU.
I documenti non forniscono dati di velocità per il funzionamento solo CPU, e noi non ne abbiamo misurati. Parti dal modello più piccolo che svolge il tuo compito e provalo per qualche giorno prima di impegnarti in un contratto più lungo.
Eseguire Dify su un VPS
Dify può essere installato in self-hosting con Docker Compose. La sua documentazione elenca i requisiti di sistema minimi, che sono minimi e non raccomandazioni:
- CPU: 2 core o più
- RAM: 4 GiB o più
- Linux: Docker 19.03 o successivo e Docker Compose 2.24.0 o successivo
| Passo | Cosa fai |
|---|---|
| 1 | Clona il repository di Dify e vai nella directory dify/docker |
| 2 | Copia .env.example in .env |
| 3 | Genera un token con openssl rand -base64 32 e impostalo come DIFY_AGENT_LOCAL_SANDBOX_AUTH_TOKEN in .env |
| 4 | Esegui docker compose up -d |
| 5 | Controlla docker compose ps: i container dovrebbero risultare Up o healthy |
| 6 | Apri /install sul tuo server per creare l'account amministratore, poi accedi |
La pagina di Dify che abbiamo consultato non menziona Ollama né i modelli locali. Se un solo server esegue sia Dify sia un modello locale, prevedi la memoria di entrambi (è la nostra lettura dei due documenti, non una cifra tratta da nessuno dei due).
Cosa non esporre a internet
Le FAQ di Ollama dicono che Ollama si lega per impostazione predefinita a 127.0.0.1 sulla porta 11434 e che l'indirizzo di binding si cambia con la variabile d'ambiente OLLAMA_HOST. La pagina delle FAQ che abbiamo consultato non descrive alcuna autenticazione per il server Ollama. Quanto segue è una nostra raccomandazione, non un'affermazione dei documenti:
- Lascia Ollama sul suo indirizzo predefinito. Se un'altra macchina ne ha bisogno, raggiungilo tramite un tunnel SSH invece di cambiare l'indirizzo di binding.
- Se lo leghi comunque a un indirizzo di rete, limita la porta nel firewall agli indirizzi che usi, e non aprirla mai a tutti.
- Dify viene servito sull'indirizzo del server e l'account amministratore si crea da /install. Fallo subito dopo l'avvio dei container, e metti HTTPS e una regola del firewall davanti prima di condividere l'indirizzo.
- Conserva le chiavi API dei fornitori di modelli nel file .env o in un archivio di segreti, e tienile fuori da tutto ciò che committi.
Self-hosting o un'API?
Un VPS costa lo stesso ogni mese che tu lo usi o no, mentre un'API fa pagare i token che invii e ricevi. Se il tuo volume è basso, un'API può costare meno che tenere acceso un server. Se è alto e un modello piccolo basta, può convenire un server. Inserisci il tuo volume e confronta.
Provalo: LLM API Cost Calculator
Costo stimato
Inserisci i prezzi e il numero di token per vedere il costo.
Pagine ufficiali dei prezzi
Questo si limita a moltiplicare i numeri che inserisci. Non conosce i prezzi del fornitore, né sconti, caching, tariffe batch, prezzi a scaglioni o imposte.
Per conoscere i token di input di un prompt, usa il Token Counter.
Fonti
Leggi anche
- Chiamare un modello locale dal proprio codice: structured outputs e API compatibile con OpenAI in OllamaVincola l'output di un modello locale con un JSON Schema e chiama Ollama da client in stile OpenAI: cosa dice la documentazione ufficiale e cosa non è supportato.
- Cosa sa fare un modello locale? Tools, thinking, vision ed embedding in Ollama, e cosa entra in una VPSTools, thinking, vision, embedding: cosa significano le etichette della libreria di Ollama, quali modelli le portano e quanto pesano i download.
- Installare Ollama su un VPS e tenerlo in funzione: installazione, servizio systemd, impostazioni e aggiornamentiInstallare Ollama su un VPS Linux e tenerlo in funzione: il comando di installazione, il servizio systemd, le variabili d'ambiente, la cartella dei modelli e gli aggiornamenti, dalla documentazione ufficiale.
- Quanta memoria serve a un LLM locale su una VPS? File del modello più cache KVFile del modello più cache KV: cosa dicono la libreria di Ollama, le FAQ di Ollama e le configurazioni ufficiali dei modelli sulla memoria che serve a un LLM locale su una VPS.