~/ / KI-Artikel / Lokale LLMs auf einem VPS / Wie viel Arbeitsspeicher braucht ein lokales LLM auf einem VPS? Modelldatei plus KV-Cache

Wie viel Arbeitsspeicher braucht ein lokales LLM auf einem VPS? Modelldatei plus KV-Cache

Bevor Sie einen Server mieten, um ein lokales Modell zu betreiben, sollten Sie wissen, wie viel Arbeitsspeicher es braucht. Die Antwort hat zwei Teile: das Modell selbst und einen Cache, der mit der Länge der Unterhaltung und der Zahl der gleichzeitig bearbeiteten Anfragen wächst. Dieser Artikel fasst zusammen, was die Ollama-Bibliothek, die Ollama-FAQ und die offiziellen Modellkonfigurationsdateien sagen, berechnet den Cache für sechs verbreitete Modelle und lässt Sie eigene Werte ausprobieren.

Veröffentlicht: 2026-10-26 · 4 Min. Lesezeit · Die Modelldaten wurden am 2026-10-26 mit den offiziellen Quellen abgeglichen. Größen und Standardwerte ändern sich, prüfen Sie sie daher, bevor Sie sich für einen Tarif entscheiden.

Zwei Dinge füllen den Arbeitsspeicher

Das Erste sind die Modellgewichte, die ungefähr so viel Arbeitsspeicher belegen wie die Download-Datei. Das Zweite ist der KV-Cache, der die Schlüssel und Werte (Keys und Values) enthält, die das Modell für den Text in seinem Kontext bereits berechnet hat. Die Ollama-FAQ gibt an, dass der benötigte RAM mit OLLAMA_NUM_PARALLEL multipliziert mit OLLAMA_CONTEXT_LENGTH skaliert.

Die Größe des Caches lässt sich aus der Konfiguration des Modells ableiten: 2 × Schichten × KV-Köpfe × Kopfdimension × Bytes pro Wert ergibt die Bytes für ein Token; das multiplizieren Sie mit der Kontextlänge und der Zahl paralleler Anfragen. In f16 belegt ein Wert 2 Bytes. Bei Qwen3 8B mit 36 Schichten, 8 KV-Köpfen und einer Kopfdimension von 128 belegt ein Token 2 × 36 × 8 × 128 × 2 = 147,456 Bytes. Bei 4,096 Tokens sind das 576 MiB, bei 32,768 Tokens 4,608 MiB. Diese Formel ist unsere Berechnung aus den Konfigurationswerten und keine von Ollama veröffentlichte Angabe.

Was die offiziellen Quellen zu den einzelnen Modellen sagen

Die Download-Größe und die Quantisierung entsprechen den Angaben der Ollama-Bibliothek für das jeweilige Tag; alle sechs Tags unten sind mit der Quantisierung Q4_K_M angegeben. Schichten, KV-Köpfe und Kopfdimension stammen aus der config.json des jeweiligen Modells auf Hugging Face.

Modell	Download-Größe (GB)	Schichten	KV-Köpfe	Kopfdimension
Qwen3 0.6B	0.523	28	8	128
Qwen3 1.7B	1.4	28	8	128
Qwen3 4B	2.5	36	8	128
Qwen3 8B	5.2	36	8	128
Qwen3 14B	9.3	40	8	128
Mistral 7B (v0.3)	4.4	32	8	128

Die Konfiguration von Mistral 7B enthält keine Kopfdimension; sie ergibt sich aus der Größe der versteckten Schicht (Hidden Size) geteilt durch die Zahl der Attention-Köpfe: 4096 ÷ 32 = 128. Das Tag Qwen3 4B in der Ollama-Bibliothek nennt ein Kontextfenster von 256K. Die Versionen 2507 von Qwen3 4B auf Hugging Face haben dieselben Schichten, KV-Köpfe und dieselbe Kopfdimension wie das Original.

Was das für den Arbeitsspeicher bedeutet

Mit der obigen Formel zeigt diese Tabelle den Cache jedes Modells bei zwei Kontextlängen sowie die geschätzte Gesamtsumme bei 4,096 Tokens. Die Summe besteht aus den Gewichten, dem Cache in f16 für jeweils eine Anfrage und einer Reserve von 1 GiB für das Betriebssystem und andere Dienste. Die letzte Spalte nennt die kleinste gängige Speichergröße, in die das passt.

Modell	KV-Cache bei 4,096 Tokens (MiB)	KV-Cache bei 32,768 Tokens (MiB)	Geschätzte Gesamtsumme bei 4,096 Tokens (GiB)	Kleinste gängige Speichergröße (GiB)
Qwen3 0.6B	448	3584	1.92	2
Qwen3 1.7B	448	3584	2.74	4
Qwen3 4B	576	4608	3.89	4
Qwen3 8B	576	4608	6.41	8
Qwen3 14B	640	5120	10.29	12
Mistral 7B (v0.3)	512	4096	5.60	8

Das sind Schätzungen, keine Messungen. Ein Modell, das bei 4,096 Tokens nur knapp hineinpasst, passt nicht mehr, wenn Sie die Kontextlänge erhöhen: Bei 32,768 Tokens allein belegt der Cache von Qwen3 8B 4,608 MiB.

Längerer Kontext, mehr parallele Anfragen

Die Ollama-FAQ sagt, dass der benötigte RAM mit OLLAMA_NUM_PARALLEL multipliziert mit OLLAMA_CONTEXT_LENGTH skaliert, und nennt ein Beispiel: Ein Kontext von 2K bei 4 parallelen Anfragen ergibt einen Kontext von 8K und zusätzlichen Speicherbedarf.
OLLAMA_NUM_PARALLEL ist mit dem Standardwert 1 dokumentiert; ein Server für einen einzelnen Nutzer beginnt also mit einer Anfrage zugleich.
Die FAQ sagt außerdem, dass die Quantisierung des Key-Value-Caches mit q8_0 ungefähr die Hälfte des Speichers von f16 braucht und q4_0 ungefähr ein Viertel. Mit dem Verhältnis aus der FAQ schrumpft der Cache bei Qwen3 8B und 4,096 Tokens mit q8_0 auf etwa 288 MiB.
Die Seite zur Kontextlänge in der Ollama-Dokumentation sagt, dass eine größere Kontextlänge den Speicherbedarf eines Modells erhöht und dass Sie in der Spalte PROCESSOR von ollama ps sehen können, ob ein Modell auf die CPU ausgelagert wurde.

Eigene Werte ausprobieren

Der folgende Rechner verwendet dieselbe Formel und dieselben Daten. Wählen Sie ein Modell oder geben Sie ein eigenes ein, legen Sie Kontextlänge, parallele Anfragen, Cache-Typ und eine Reserve fest und tragen Sie den Arbeitsspeicher des Tarifs ein, den Sie ansehen, um zu sehen, ob die Schätzung hineinpasst.

Ausprobieren: Local LLM Memory Estimator

Modell

Ollama-Tag qwen3:8b, Quantisierung Q4_K_M, Download-Größe 5.2 GB.

Dateigröße (GB)SchichtenKV headsKopfdimension

Kontextlänge (Tokens)Parallele AnfragenKV-Cache-TypReserve für OS und andere Dienste (GiB)Speicher des Tarifs (GiB, optional)

Schätzung

Modellgewichte: 4.84 GiB
KV-Cache: 0.56 GiB
Reserve: 1.00 GiB
Summe: 6.41 GiB (6.88 GB)
Kleinste gängige Speichergröße, die dafür reicht: 8 GiB

Dies ist eine Schätzung. Die Rechenpuffer der Laufzeitumgebung sind nicht enthalten, und es wird angenommen, dass jede Schicht dieselbe KV-Form hat. Messen Sie einen echten Lauf, bevor Sie einen Tarif wählen.

Modelldaten geprüft am 2026-10-26.

Quellen: Ollama library · Modellkonfiguration (config.json) · Ollama FAQ

Alles läuft in Ihrem Browser. Nichts wird hochgeladen.

Bevor Sie einen Tarif wählen

Die Schätzung lässt den eigenen Arbeitsspeicher der Laufzeitumgebung für ihre Rechenpuffer aus. Unser Vorschlag: Lassen Sie das Modell auf einem Testserver laufen, beobachten Sie den Speicherverbrauch mit der Kontextlänge, die Sie einsetzen wollen, und lassen Sie etwas Spielraum.
Ein GB sind 1,000,000,000 Bytes und ein GiB sind 1,073,741,824 Bytes. Das „GB“ eines Anbieters kann beides bedeuten; prüfen Sie daher, wie Ihr Anbieter zählt, bevor Sie vergleichen.
Der Arbeitsspeicher ist nicht die einzige Grenze. Die Modelldateien in der Tabelle brauchen ebenfalls Speicherplatz, und die von uns geprüften Dokumente nennen keine Geschwindigkeitsangaben für den reinen CPU-Betrieb.
Wenn ein Modell nur gerade so passt, wählen Sie die nächstgrößere Stufe oder ein kleineres Modell, statt die Kontextlänge so weit zu senken, bis es startet.