toolkitbox

~/ / Articles sur l'IA / LLM locaux sur un VPS / Surveiller la mémoire d'Ollama sur un petit VPS

Surveiller la mémoire d'Ollama sur un petit VPS

Sur un petit serveur, la mémoire est la limite, et Ollama garde un modèle en mémoire après avoir répondu. Cet article montre comment voir ce qui est chargé, combien de temps cela reste en mémoire, combien de modèles et de requêtes Ollama traite en même temps, et quels réglages modifient l'usage de la mémoire. Toutes les valeurs par défaut ci-dessous sont citées d'après la FAQ officielle.

Publié: · 4 min de lecture · Faits vérifiés dans la documentation officielle d'Ollama le 2026-10-27. Les valeurs par défaut peuvent changer d'une version à l'autre : consultez la FAQ de la version que vous utilisez.

Voir ce qui est chargé

La FAQ indique d'utiliser ollama ps pour voir quels modèles sont actuellement chargés en mémoire. La colonne PROCESSOR indique où se trouve un modèle.

PROCESSOR afficheCe que la FAQ dit que cela signifie
100% GPULe modèle a été entièrement chargé dans le GPU.
100% CPULe modèle a été entièrement chargé dans la mémoire système.
48%/52% CPU/GPULe modèle a été chargé en partie dans le GPU et en partie dans la mémoire système.

Sur un VPS sans GPU, 100% CPU est la valeur attendue : le modèle se trouve dans la mémoire du serveur.

Combien de temps un modèle reste en mémoire

Par défaut, d'après la FAQ, les modèles restent en mémoire pendant 5 minutes avant d'être déchargés. Vous pouvez changer cela pour tout le serveur, ou pour une seule requête.

Ce que vous voulezComment, selon la FAQ
Décharger un modèle tout de suiteollama stop llama3.2
Garder un modèle chargéEnvoyez keep_alive avec un nombre négatif, par exemple -1, dans une requête vers /api/generate ou /api/chat.
Décharger juste après la réponseEnvoyez keep_alive avec la valeur 0.
Une autre duréekeep_alive accepte aussi une chaîne de durée comme 10m ou 24h, ou un nombre de secondes comme 3600.
Le régler pour tout le serveurDéfinissez la variable d'environnement OLLAMA_KEEP_ALIVE au démarrage du serveur. Elle accepte les mêmes types de valeurs. Un keep_alive dans une requête est prioritaire sur elle.

Notre interprétation, qui ne vient pas des documents : quand le même serveur fait aussi tourner d'autres choses, comme Dify ou un écran de discussion, un modèle qui reste chargé garde sa mémoire loin de celles-ci. Une durée plus courte libère la mémoire plus tôt, et la requête suivante doit recharger le modèle. Nous n'avons pas mesuré combien de temps cela prend.

Plusieurs modèles, plusieurs requêtes

La FAQ décrit trois limites et une règle. Si un nouveau modèle ne tient pas dans la mémoire disponible alors que d'autres modèles sont chargés, les nouvelles requêtes sont mises en file d'attente jusqu'à ce qu'il puisse être chargé, et les modèles inactifs sont déchargés pour faire de la place.

L'estimateur ci-dessous a un champ pour les requêtes parallèles : vous pouvez ainsi voir l'effet d'un réglage plus élevé sur le total.

RéglageCe que dit la FAQ
OLLAMA_MAX_LOADED_MODELSLe nombre maximal de modèles pouvant être chargés simultanément, à condition qu'ils tiennent dans la mémoire disponible. La valeur par défaut est 3 fois le nombre de GPU, ou 3 pour l'inférence sur CPU.
OLLAMA_NUM_PARALLELLe nombre maximal de requêtes parallèles que chaque modèle traite en même temps. La valeur par défaut est 1. La RAM nécessaire évolue avec OLLAMA_NUM_PARALLEL multiplié par OLLAMA_CONTEXT_LENGTH.
OLLAMA_MAX_QUEUELe nombre maximal de requêtes qu'Ollama met en file d'attente quand il est occupé, avant de rejeter les suivantes. La valeur par défaut est 512. Les requêtes rejetées reçoivent une erreur 503.

Essayer: Local LLM Memory Estimator

Modèle

Tag Ollama qwen3:8b, quantification Q4_K_M, taille de téléchargement 5.2 GB.

Estimation

Poids du modèle
4.84 GiB
KV cache
0.56 GiB
Réserve
1.00 GiB
Total
6.41 GiB (6.88 GB)
Plus petite taille de mémoire courante qui le contient
8 GiB

Il s'agit d'une estimation. Elle n'inclut pas les tampons de calcul du runtime et suppose que chaque couche a la même forme de KV. Mesurez une vraie exécution avant de choisir une offre.

Données du modèle vérifiées le 2026-10-26.

Sources : Ollama library · Configuration du modèle (config.json) · Ollama FAQ

Tout s'exécute dans votre navigateur. Rien n'est envoyé.

Les réglages qui changent l'usage de la mémoire

RéglageCe que dit la FAQ
OLLAMA_CONTEXT_LENGTHPar défaut, Ollama utilise une fenêtre de contexte de 4096 tokens. La variable d'environnement la remplace, et num_ctx peut être défini par session ou via l'API.
OLLAMA_KV_CACHE_TYPELe type de quantification du cache K/V. La valeur par défaut est f16.
OLLAMA_FLASH_ATTENTIONMettez-la à 1 au démarrage du serveur pour forcer l'activation de Flash Attention. La FAQ indique qu'Ollama l'active automatiquement quand le backend et les appareils la prennent en charge.

Les variables d'environnement du serveur se placent dans un override systemd. L'article sur l'installation d'Ollama sur un VPS montre les étapes. Nous n'avons pas mesuré la quantité de mémoire que chaque réglage économise sur votre serveur : vérifiez donc avec ollama ps après un changement.

Sources

À lire ensuite