~/ / Articles sur l'IA / LLM locaux sur un VPS / De quelle mémoire un LLM local a-t-il besoin sur un VPS ? Fichier du modèle plus cache KV
De quelle mémoire un LLM local a-t-il besoin sur un VPS ? Fichier du modèle plus cache KV
Avant de louer un serveur pour faire tourner un modèle local, il faut savoir combien de mémoire il consomme. La réponse comporte deux parties : le modèle lui-même, et un cache qui grandit avec la longueur de la conversation et le nombre de requêtes traitées en même temps. Cet article rassemble ce que disent la bibliothèque Ollama, la FAQ d'Ollama et les fichiers de configuration officiels des modèles, calcule le cache de six modèles courants, et vous laisse essayer vos propres valeurs.
Publié: · 5 min de lecture · Données des modèles vérifiées auprès des sources officielles le 2026-10-26. Les tailles et les valeurs par défaut changent : confirmez-les avant de choisir une offre.
Deux éléments remplissent la mémoire
Le premier, ce sont les poids du modèle, qui occupent à peu près autant de mémoire que le fichier téléchargé. Le second est le cache KV, qui contient les clés et les valeurs que le modèle a déjà calculées pour le texte de son contexte. La FAQ d'Ollama indique que la RAM nécessaire évolue comme OLLAMA_NUM_PARALLEL multiplié par OLLAMA_CONTEXT_LENGTH.
La taille du cache se déduit de la configuration du modèle : 2 × couches × têtes KV × dimension de tête × octets par valeur donne les octets pour un token, et il faut multiplier par la longueur du contexte et par le nombre de requêtes en parallèle. En f16, une valeur occupe 2 octets. Pour Qwen3 8B, qui a 36 couches, 8 têtes KV et une dimension de tête de 128, un token occupe 2 × 36 × 8 × 128 × 2 = 147,456 octets. À 4,096 tokens, cela fait 576 MiB, et à 32,768 tokens, 4,608 MiB. Cette formule est notre calcul à partir des valeurs de configuration, et non un chiffre publié par Ollama.
Ce que disent les sources officielles pour chaque modèle
La taille du téléchargement et la quantification sont celles que la bibliothèque Ollama affiche pour chaque tag, et les six tags ci-dessous sont tous présentés avec la quantification Q4_K_M. Le nombre de couches, de têtes KV et la dimension de tête proviennent du config.json de chaque modèle sur Hugging Face.
| Modèle | Taille du téléchargement (GB) | Couches | Têtes KV | Dimension de tête |
|---|---|---|---|---|
| Qwen3 0.6B | 0.523 | 28 | 8 | 128 |
| Qwen3 1.7B | 1.4 | 28 | 8 | 128 |
| Qwen3 4B | 2.5 | 36 | 8 | 128 |
| Qwen3 8B | 5.2 | 36 | 8 | 128 |
| Qwen3 14B | 9.3 | 40 | 8 | 128 |
| Mistral 7B (v0.3) | 4.4 | 32 | 8 | 128 |
La configuration de Mistral 7B n'indique pas de dimension de tête : elle se déduit de la taille cachée divisée par le nombre de têtes d'attention, soit 4096 ÷ 32 = 128. Le tag Qwen3 4B de la bibliothèque Ollama indique une fenêtre de contexte de 256K. Les versions 2507 de Qwen3 4B sur Hugging Face ont les mêmes couches, les mêmes têtes KV et la même dimension de tête que la version d'origine.
Ce que cela signifie pour la mémoire
D'après la formule ci-dessus, ce tableau montre le cache de chaque modèle pour deux longueurs de contexte, ainsi que le total estimé à 4,096 tokens. Le total est la somme des poids, du cache en f16 pour une seule requête à la fois, et d'une réserve de 1 GiB pour le système d'exploitation et les autres services. La dernière colonne indique la plus petite taille de mémoire courante qui le contient.
| Modèle | Cache KV à 4,096 tokens (MiB) | Cache KV à 32,768 tokens (MiB) | Total estimé à 4,096 tokens (GiB) | Plus petite taille de mémoire courante (GiB) |
|---|---|---|---|---|
| Qwen3 0.6B | 448 | 3584 | 1.92 | 2 |
| Qwen3 1.7B | 448 | 3584 | 2.74 | 4 |
| Qwen3 4B | 576 | 4608 | 3.89 | 4 |
| Qwen3 8B | 576 | 4608 | 6.41 | 8 |
| Qwen3 14B | 640 | 5120 | 10.29 | 12 |
| Mistral 7B (v0.3) | 512 | 4096 | 5.60 | 8 |
Ce sont des estimations, pas des mesures. Un modèle qui tient de justesse à 4,096 tokens ne tiendra plus si vous augmentez la longueur du contexte : à 32,768 tokens, le cache de Qwen3 8B représente à lui seul 4,608 MiB.
Contexte plus long, plus de requêtes en parallèle
- La FAQ d'Ollama indique que la RAM nécessaire évolue comme OLLAMA_NUM_PARALLEL multiplié par OLLAMA_CONTEXT_LENGTH, et donne un exemple : un contexte de 2K avec 4 requêtes en parallèle donne un contexte de 8K et de la mémoire supplémentaire.
- OLLAMA_NUM_PARALLEL est documenté avec une valeur par défaut de 1 : un serveur pour un seul utilisateur démarre donc avec une requête à la fois.
- La FAQ indique aussi que la quantification du cache clé-valeur avec q8_0 utilise environ la moitié de la mémoire de f16, et q4_0 environ le quart. Le cache se réduit alors à environ 288 MiB pour Qwen3 8B à 4,096 tokens avec q8_0, en appliquant le rapport donné par la FAQ.
- La page sur la longueur du contexte de la documentation d'Ollama indique qu'une longueur de contexte plus grande augmente la mémoire dont un modèle a besoin, et qu'on peut consulter la colonne PROCESSOR de ollama ps pour voir si un modèle a été déchargé vers le CPU.
Essayez vos propres valeurs
Le calculateur ci-dessous utilise la même formule et les mêmes données. Choisissez un modèle ou saisissez le vôtre, réglez la longueur du contexte, les requêtes en parallèle, le type de cache et une réserve, puis indiquez la mémoire de l'offre que vous regardez pour voir si l'estimation tient.
Essayer: Local LLM Memory Estimator
Estimation
- Poids du modèle
- 4.84 GiB
- KV cache
- 0.56 GiB
- Réserve
- 1.00 GiB
- Total
- 6.41 GiB (6.88 GB)
- Plus petite taille de mémoire courante qui le contient
- 8 GiB
Il s'agit d'une estimation. Elle n'inclut pas les tampons de calcul du runtime et suppose que chaque couche a la même forme de KV. Mesurez une vraie exécution avant de choisir une offre.
Données du modèle vérifiées le 2026-10-26.
Sources : Ollama library · Configuration du modèle (config.json) · Ollama FAQ
Tout s'exécute dans votre navigateur. Rien n'est envoyé.
Avant de choisir une offre
- L'estimation ne comprend pas la mémoire de travail propre au moteur d'exécution pour ses tampons de calcul. Notre suggestion : faites tourner le modèle sur un serveur de test, surveillez l'utilisation de la mémoire avec la longueur de contexte que vous comptez utiliser, et gardez une marge.
- Un GB vaut 1,000,000,000 octets et un GiB vaut 1,073,741,824 octets. Le « GB » d'un hébergeur peut désigner l'un ou l'autre : vérifiez comment votre hébergeur compte avant de comparer.
- La mémoire n'est pas la seule limite. Les fichiers de modèles du tableau demandent aussi de l'espace disque, et les documents que nous avons consultés ne donnent aucun chiffre de vitesse pour un fonctionnement sur CPU seul.
- Si un modèle tient tout juste, choisissez la taille supérieure ou un modèle plus petit, plutôt que de réduire la longueur du contexte jusqu'à ce qu'il démarre.
Sources
- Ollama library: qwen3
- Ollama library: mistral
- Ollama documentation: FAQ
- Ollama documentation: Context length
- Qwen3-0.6B config.json (Hugging Face)
- Qwen3-1.7B config.json (Hugging Face)
- Qwen3-4B config.json (Hugging Face)
- Qwen3-8B config.json (Hugging Face)
- Qwen3-14B config.json (Hugging Face)
- Mistral-7B-Instruct-v0.3 config.json (Hugging Face)
À lire ensuite
- Appeler un modèle local depuis votre code : sorties structurées et API compatible OpenAI dans OllamaContraindre la sortie d'un modèle local avec un JSON Schema et appeler Ollama depuis des clients de style OpenAI : ce que disent les documents officiels, et ce qui n'est pas pris en charge.
- Que peut faire un modèle local ? Tools, thinking, vision et embeddings dans Ollama, et ce qui tient sur un VPSTools, thinking, vision, embeddings : ce que signifient les libellés de la bibliothèque Ollama, quels modèles les portent et quelle est la taille des téléchargements.
- Installer Ollama sur un VPS et le garder en marche : installation, service systemd, réglages et mises à jourInstaller Ollama sur un VPS Linux et le garder en marche : la commande d'installation, le service systemd, les variables d'environnement, le stockage des modèles et les mises à jour, d'après la documentation officielle.
- Faire tourner une IA sur votre propre VPS : quelle mémoire prévoir, et ce qu'il ne faut pas exposerVous pensez héberger Ollama ou Dify sur un VPS ? Ce que disent les documentations officielles sur la mémoire, l'inférence sur CPU seul et les ports à garder fermés.