~/tools / Local LLM Memory Estimator

Local LLM Memory Estimator — Speicherbedarf eines lokalen LLM schätzen: Modelldatei plus KV-Cache

Schätzen Sie, wie viel Speicher ein lokales LLM auf einem VPS oder Ihrem eigenen Rechner braucht: die Modelldatei plus den KV-Cache für Ihre Kontextlänge und die Zahl paralleler Anfragen. Die Voreinstellungen nutzen die offiziellen Download-Größen und Modellkonfigurationen von Qwen3 und Mistral 7B. Nichts verlässt Ihren Browser.

Ein lokales Sprachmodell braucht Speicher für zwei Dinge. Das Erste ist das Modell selbst, das ungefähr so groß ist wie seine Download-Datei. Das Zweite ist der KV-Cache (Schlüssel-Wert-Cache), der mit der Länge des Kontexts und mit der Zahl der Anfragen wächst, die der Server gleichzeitig bearbeitet. Die Ollama FAQ gibt an, dass der benötigte RAM mit OLLAMA_NUM_PARALLEL multipliziert mit OLLAMA_CONTEXT_LENGTH skaliert und dass die Quantisierung des Caches mit q8_0 ungefähr die Hälfte des Speichers von f16 und q4_0 etwa ein Viertel belegt. Dieses Tool addiert die beiden Teile für Sie. Es übernimmt die Dateigröße aus der Ollama library sowie die Zahl der Schichten, der KV heads und die Dimension der Köpfe aus der offiziellen Konfigurationsdatei jedes Modells und berechnet den Cache als 2 × Schichten × KV heads × Kopfdimension × Kontextlänge × parallele Anfragen × Bytes pro Wert. Anschließend addiert es eine Reserve für das Betriebssystem und andere Dienste, zeigt die Summe in GiB und GB an, nennt die kleinste gängige Speichergröße, die dafür reicht, und sagt Ihnen, ob sie in den von Ihnen eingegebenen VPS-Tarif passt. Das Ergebnis ist eine Schätzung, keine Messung: Die eigenen Rechenpuffer der Laufzeitumgebung sind nicht enthalten, und ein echter Server sollte gemessen werden, bevor Sie sich auf einen Tarif festlegen. Die Modelldaten wurden an dem Datum geprüft, das unter dem Tool steht.