toolkitbox

~/ / KI-Artikel / Lokale LLMs auf einem VPS / Den Arbeitsspeicher von Ollama auf einem kleinen VPS im Blick behalten

Den Arbeitsspeicher von Ollama auf einem kleinen VPS im Blick behalten

Auf einem kleinen Server ist der Arbeitsspeicher die Grenze, und Ollama behält ein Modell nach der Antwort im Speicher. Dieser Artikel zeigt, wie Sie sehen, was geladen ist, wie lange es bleibt, wie viele Modelle und Anfragen Ollama gleichzeitig bearbeitet und welche Einstellungen den Speicherverbrauch verändern. Jeder Standardwert unten ist den offiziellen FAQ entnommen.

Veröffentlicht: · 3 Min. Lesezeit · Die Angaben wurden am 2026-10-27 mit der offiziellen Ollama-Dokumentation abgeglichen. Standardwerte können sich zwischen Versionen ändern, prüfen Sie also die FAQ der Version, die Sie einsetzen.

Sehen, was geladen ist

Laut FAQ zeigt ollama ps, welche Modelle gerade in den Speicher geladen sind. Die Spalte PROCESSOR gibt an, wo ein Modell liegt.

PROCESSOR zeigtWas das laut FAQ bedeutet
100% GPUDas Modell wurde vollständig in die GPU geladen.
100% CPUDas Modell wurde vollständig in den Systemspeicher geladen.
48%/52% CPU/GPUDas Modell wurde teilweise in die GPU und teilweise in den Systemspeicher geladen.

Auf einem VPS ohne GPU ist 100% CPU der erwartete Wert: Das Modell liegt im Arbeitsspeicher des Servers.

Wie lange ein Modell im Speicher bleibt

Standardmäßig werden Modelle laut FAQ 5 Minuten im Speicher gehalten, bevor sie entladen werden. Sie können das für den ganzen Server oder für eine einzelne Anfrage ändern.

Was Sie möchtenWie, laut FAQ
Ein Modell sofort entladenollama stop llama3.2
Ein Modell geladen lassenSenden Sie keep_alive mit einer negativen Zahl, zum Beispiel -1, in einer Anfrage an /api/generate oder /api/chat.
Direkt nach der Antwort entladenSenden Sie keep_alive mit dem Wert 0.
Eine andere Dauerkeep_alive akzeptiert auch eine Dauer als Zeichenkette wie 10m oder 24h oder eine Anzahl Sekunden wie 3600.
Für den ganzen Server festlegenSetzen Sie beim Start des Servers die Umgebungsvariable OLLAMA_KEEP_ALIVE. Sie akzeptiert dieselben Arten von Werten. Ein keep_alive in einer Anfrage hat Vorrang davor.

Unsere Einschätzung, keine Aussage aus den Dokumenten: Wenn auf demselben Server auch andere Dinge laufen, etwa Dify oder eine Chat-Oberfläche, nimmt ein dauerhaft geladenes Modell diesen den Speicher weg. Eine kürzere Zeit gibt Speicher früher frei, und die nächste Anfrage muss das Modell erneut laden. Wir haben nicht gemessen, wie lange das dauert.

Mehrere Modelle, mehrere Anfragen

Die FAQ beschreiben drei Grenzwerte und eine Regel. Passt ein neues Modell nicht in den verfügbaren Speicher, solange andere Modelle geladen sind, werden die neuen Anfragen in eine Warteschlange gestellt, bis es geladen werden kann, und untätige Modelle werden entladen, um Platz zu schaffen.

Der Rechner unten hat ein Feld für parallele Anfragen, damit Sie sehen, wie sich ein höherer Wert auf die Summe auswirkt.

EinstellungWas die FAQ sagen
OLLAMA_MAX_LOADED_MODELSDie maximale Anzahl an Modellen, die gleichzeitig geladen sein können, sofern sie in den verfügbaren Speicher passen. Der Standardwert ist das Dreifache der Anzahl der GPUs, bzw. 3 bei Inferenz auf der CPU.
OLLAMA_NUM_PARALLELDie maximale Anzahl paralleler Anfragen, die jedes Modell gleichzeitig bearbeitet. Der Standardwert ist 1. Der benötigte RAM wächst mit OLLAMA_NUM_PARALLEL mal OLLAMA_CONTEXT_LENGTH.
OLLAMA_MAX_QUEUEDie maximale Anzahl an Anfragen, die Ollama bei hoher Last in die Warteschlange stellt, bevor es weitere ablehnt. Der Standardwert ist 512. Abgelehnte Anfragen erhalten einen 503-Fehler.

Ausprobieren: Local LLM Memory Estimator

Modell

Ollama-Tag qwen3:8b, Quantisierung Q4_K_M, Download-Größe 5.2 GB.

Schätzung

Modellgewichte
4.84 GiB
KV-Cache
0.56 GiB
Reserve
1.00 GiB
Summe
6.41 GiB (6.88 GB)
Kleinste gängige Speichergröße, die dafür reicht
8 GiB

Dies ist eine Schätzung. Die Rechenpuffer der Laufzeitumgebung sind nicht enthalten, und es wird angenommen, dass jede Schicht dieselbe KV-Form hat. Messen Sie einen echten Lauf, bevor Sie einen Tarif wählen.

Modelldaten geprüft am 2026-10-26.

Quellen: Ollama library · Modellkonfiguration (config.json) · Ollama FAQ

Alles läuft in Ihrem Browser. Nichts wird hochgeladen.

Einstellungen, die den Speicherverbrauch verändern

EinstellungWas die FAQ sagen
OLLAMA_CONTEXT_LENGTHStandardmäßig verwendet Ollama ein Kontextfenster von 4096 tokens. Die Umgebungsvariable überschreibt das, und num_ctx lässt sich pro Sitzung oder über die API setzen.
OLLAMA_KV_CACHE_TYPEDer Quantisierungstyp für den K/V-Cache. Der Standardwert ist f16.
OLLAMA_FLASH_ATTENTIONSetzen Sie ihn beim Start des Servers auf 1, um Flash Attention zu erzwingen. Laut FAQ schaltet Ollama es automatisch ein, wenn das Backend und die Geräte es unterstützen.

Umgebungsvariablen des Servers kommen in ein systemd-Override. Der Artikel über die Installation von Ollama auf einem VPS zeigt die Schritte. Wir haben nicht gemessen, wie viel Speicher jede Einstellung auf Ihrem Server spart. Prüfen Sie deshalb nach einer Änderung mit ollama ps.

Quellen

Als Nächstes lesen