~/ / KI-Artikel / Lokale LLMs auf einem VPS / KI auf dem eigenen VPS betreiben: Wie viel Arbeitsspeicher einplanen und was nicht freigeben
KI auf dem eigenen VPS betreiben: Wie viel Arbeitsspeicher einplanen und was nicht freigeben
Ein Sprachmodell oder einen KI-App-Builder auf einem gemieteten VPS zu betreiben, ist reizvoll: eine feste monatliche Gebühr, und Ihre Daten bleiben auf einem Server, den Sie kontrollieren. Der gewählte Tarif entscheidet jedoch darüber, ob es überhaupt läuft, und eine Standardinstallation kann einen Dienst aus dem Internet erreichbar lassen. Dieser Artikel fasst zusammen, was die offizielle Dokumentation von Ollama und Dify zu Arbeitsspeicher, Betrieb nur mit CPU und Netzwerkfreigabe sagt, damit Sie einen Tarif wählen können, bevor Sie dafür bezahlen.
Veröffentlicht: · 4 Min. Lesezeit · Geprüft anhand der offiziellen Dokumentation am 2026-10-26. Versionen und Standardwerte ändern sich; bestätigen Sie sie daher vor der Installation in den aktuellen Dokumenten.
Was in den Arbeitsspeicher passen muss
Die Downloadgröße eines Modells ist der kleinste Arbeitsspeicherbedarf, nicht die Menge, mit der Sie planen sollten. Die Ollama-Bibliothek nennt die Downloadgröße jedes Tags. Llama 3.2 ist zum Beispiel mit 1.3 GB für den Tag 1b und 2.0 GB für den Tag 3b angegeben, beide mit einem Kontextfenster von 128K.
Zusätzlich zum Modell wächst der Speicherbedarf mit dem Kontext. Laut Ollama-FAQ skaliert der benötigte RAM mit OLLAMA_NUM_PARALLEL multipliziert mit OLLAMA_CONTEXT_LENGTH; als Beispiel wird genannt: Ein Kontext von 2K mit 4 parallelen Anfragen wird zu einem Kontext von 8K und braucht zusätzlichen Speicher. Die FAQ sagt außerdem, dass die Quantisierung des Key-Value-Caches mit q8_0 ungefähr die Hälfte des Speichers von f16 benötigt und q4_0 etwa ein Viertel.
| Modell-Tag | Downloadgröße | Kontextfenster |
|---|---|---|
| llama3.2:1b | 1.3 GB | 128K |
| llama3.2:3b | 2.0 GB | 128K |
- Die Ollama-FAQ nennt 4096 Token als Standard-Kontextfenster, und die Seite zur Kontextlänge sagt, dass der Standardwert vom VRAM Ihrer GPU abhängt (4k unter 24 GiB). Prüfen Sie den Wert, den Ihre Installation tatsächlich verwendet.
- Die Ollama-README, die wir geprüft haben, nennt keinen RAM-Bedarf pro Modellgröße. Messen Sie, statt zu raten: Laden Sie das Modell mit der Kontextlänge, die Sie verwenden wollen, senden Sie einen Prompt und beobachten Sie den Speicherverbrauch des Servers.
- Lassen Sie Platz für das Betriebssystem und alle anderen Dienste auf demselben Server.
Die Downloadgrößen wurden am oben genannten Datum von der Ollama-Bibliotheksseite abgelesen. Es sind Dateigrößen, kein gemessener Speicherverbrauch.
Ohne GPU: Was „nur CPU“ bedeutet
Die meisten VPS-Tarife haben keine GPU, daher läuft ein Modell auf der CPU und im Systemspeicher. Die Ollama-FAQ beschreibt diesen Fall: ollama ps zeigt in der Spalte PROCESSOR den Wert 100% CPU, wenn ein Modell vollständig im Systemspeicher geladen wurde, und der Standardwert für OLLAMA_MAX_LOADED_MODELS ist bei CPU-Inferenz 3.
Die Dokumente nennen keine Geschwindigkeitswerte für den Betrieb nur mit CPU, und wir haben keine gemessen. Beginnen Sie mit dem kleinsten Modell, das Ihre Aufgabe erfüllt, und testen Sie es einige Tage, bevor Sie sich auf einen längeren Vertrag festlegen.
Dify auf einem VPS betreiben
Dify lässt sich mit Docker Compose selbst hosten. Die Dokumentation nennt Mindestsystemanforderungen, die Minima und keine Empfehlungen sind:
- CPU: 2 Kerne oder mehr
- RAM: 4 GiB oder mehr
- Linux: Docker 19.03 oder neuer und Docker Compose 2.24.0 oder neuer
| Schritt | Was Sie tun |
|---|---|
| 1 | Das Dify-Repository klonen und in das Verzeichnis dify/docker wechseln |
| 2 | .env.example nach .env kopieren |
| 3 | Mit openssl rand -base64 32 ein Token erzeugen und es in .env als DIFY_AGENT_LOCAL_SANDBOX_AUTH_TOKEN eintragen |
| 4 | docker compose up -d ausführen |
| 5 | docker compose ps prüfen: Die Container sollten Up oder healthy anzeigen |
| 6 | Auf Ihrem Server /install öffnen, um das Admin-Konto anzulegen, und sich dann anmelden |
Die Dify-Seite, die wir geprüft haben, erwähnt weder Ollama noch lokale Modelle. Wenn ein Server sowohl Dify als auch ein lokales Modell betreibt, planen Sie den Speicher für beide ein (unsere Lesart der beiden Dokumente, keine Angabe aus einem von ihnen).
Was nicht ins Internet freigegeben werden sollte
Die Ollama-FAQ sagt, dass Ollama standardmäßig an 127.0.0.1 Port 11434 gebunden ist und dass Sie die Bind-Adresse mit der Umgebungsvariablen OLLAMA_HOST ändern. Die FAQ-Seite, die wir geprüft haben, beschreibt keine Authentifizierung für den Ollama-Server. Was folgt, ist unsere Empfehlung und keine Aussage aus den Dokumenten:
- Lassen Sie Ollama auf der Standardadresse. Wenn ein anderer Rechner darauf zugreifen muss, erreichen Sie es über einen SSH-Tunnel, statt die Bind-Adresse zu ändern.
- Wenn Sie es doch an eine Netzwerkadresse binden, beschränken Sie den Port in der Firewall auf die Adressen, die Sie nutzen, und öffnen Sie ihn niemals für alle.
- Dify wird unter der Serveradresse bereitgestellt, und das Admin-Konto legen Sie über /install an. Tun Sie das sofort nach dem Start der Container und setzen Sie HTTPS und eine Firewall-Regel davor, bevor Sie die Adresse weitergeben.
- Bewahren Sie API-Schlüssel für Modellanbieter in der .env-Datei oder in einem Secret-Store auf und halten Sie sie aus allem heraus, was Sie committen.
Selbst hosten oder eine API nutzen?
Ein VPS kostet jeden Monat dasselbe, ob Sie ihn nutzen oder nicht, während eine API die Token abrechnet, die Sie senden und empfangen. Bei geringem Volumen kann eine API günstiger sein, als einen Server laufen zu lassen. Bei hohem Volumen und wenn ein kleines Modell genügt, kann der Server gewinnen. Tragen Sie Ihr eigenes Volumen ein und vergleichen Sie.
Ausprobieren: LLM API Cost Calculator
Geschätzte Kosten
Geben Sie die Preise und Token-Zahlen ein, um die Kosten zu sehen.
Offizielle Preisseiten
Dies multipliziert nur die Zahlen, die Sie eingeben. Es kennt weder die Preise des Anbieters noch Rabatte, Caching, Batch-Tarife, gestaffelte Preise oder Steuern.
Die Eingabe-Tokens eines Prompts ermitteln Sie mit dem Token Counter.
Quellen
Als Nächstes lesen
- Ein lokales Modell aus dem eigenen Code aufrufen: Structured Outputs und die OpenAI-kompatible API in OllamaDie Ausgabe eines lokalen Modells mit einem JSON Schema einschränken und Ollama aus Clients im OpenAI-Stil aufrufen: was die offizielle Dokumentation sagt und was nicht unterstützt wird.
- Was kann ein lokales Modell? Tools, Thinking, Vision und Embeddings in Ollama und was auf einen VPS passtTools, Thinking, Vision, Embeddings: was die Labels in der Ollama-Bibliothek bedeuten, welche Modelle sie tragen und wie groß die Downloads sind.
- Ollama auf einem VPS installieren und dauerhaft betreiben: Installation, systemd-Dienst, Einstellungen und UpdatesOllama auf einem Linux-VPS installieren und dauerhaft betreiben: Installationsbefehl, systemd-Dienst, Umgebungsvariablen, Modellspeicher und Updates, nach der offiziellen Dokumentation.
- Wie viel Arbeitsspeicher braucht ein lokales LLM auf einem VPS? Modelldatei plus KV-CacheModelldatei plus KV-Cache: Was die Ollama-Bibliothek, die Ollama-FAQ und die offiziellen Modellkonfigurationen über den Arbeitsspeicherbedarf eines lokalen LLM auf einem VPS sagen.