~/ / KI-Artikel / Lokale LLMs auf einem VPS / Ein lokales LLM ohne teuren PC starten: Einsteigerleitfaden für den Einsatz eines VPS
Ein lokales LLM ohne teuren PC starten: Einsteigerleitfaden für den Einsatz eines VPS
Sie müssen keinen leistungsstarken Computer kaufen, um ein lokales Sprachmodell auszuprobieren. Sie können einen Server mieten, einen sogenannten VPS, das Modell dort installieren und es über den Browser jedes beliebigen Geräts nutzen. Dieser Leitfaden führt Sie in sechs Schritten vom Nullpunkt zu einer funktionierenden, geschützten Chat-Oberfläche. Unterwegs verwendet er die Werkzeuge dieser Website und sagt klar, was ein VPS ohne GPU versprechen kann und was nicht.
Veröffentlicht: · 5 Min. Lesezeit · Die Angaben wurden am 2026-10-26 mit der offiziellen Dokumentation und den offiziellen Seiten der VPS-Dienste abgeglichen. Tarife, Preise und Standardwerte ändern sich, prüfen Sie sie daher, bevor Sie bezahlen.
Was Sie erwarten können und was nicht
Ein VPS ist ein Computer in einem Rechenzentrum, den Sie mieten. Ein lokales LLM bedeutet hier ein Modell, das auf diesem Computer läuft, statt eines Dienstes, den Sie über das Internet aufrufen. Ihre Chats bleiben auf einem Server, den Sie selbst kontrollieren.
Ein VPS ist kein Ersatz für einen PC mit starker Grafikkarte, und das behauptet dieser Leitfaden auch nicht. Hier steht, was wir bestätigen konnten und was nicht.
| Frage | Was wir gefunden haben |
|---|---|
| Haben die VPS-Tarife eine GPU? | Keine der sechs VPS-Seiten, die wir geprüft haben, nennt einen GPU-Tarif. Die Seiten von ConoHa und XServer verweisen auf separate GPU-Dienste. |
| Wo läuft das Modell dann? | Im Arbeitsspeicher des Servers, auf der CPU. Die Ollama-FAQ sagt, dass ollama ps 100% CPU anzeigt, wenn ein Modell vollständig im Systemspeicher geladen wurde. |
| Wie schnell ist es? | Wir wissen es nicht. Die Dokumente, die wir geprüft haben, nennen keine Geschwindigkeitswerte für den Betrieb nur mit CPU, und wir haben selbst keine gemessen. Beginnen Sie mit einem kleinen Modell und testen Sie es. |
| Was entscheidet, ob es überhaupt läuft? | Der Speicher. Ein Modell, das nicht in den Speicher des Servers passt, läuft nicht gut. Schritt 1 zeigt, wie Sie das abschätzen. |
Wenn Sie nur gelegentlich chatten, kann ein bezahlter KI-Dienst, den Sie über das Internet aufrufen, günstiger sein als ein Server, der den ganzen Monat läuft. Schritt 3 enthält einen Rechner, damit Sie mit Ihren eigenen Zahlen vergleichen können.
Schritt 1: den benötigten Speicher abschätzen
Ein Modell braucht Speicher für seine Datei, für den Cache, der mit der Länge der Unterhaltung wächst, und für das Betriebssystem. Die Tabelle zeigt unsere Schätzung für sechs Modelle bei einer Kontextlänge von 4,096 Tokens, mit einer Anfrage nach der anderen und 1 GiB, das für das System reserviert ist. Die Schätzungen sind aus den Größen der Ollama-Bibliothek und den offiziellen Modellkonfigurationen berechnet, es sind also Schätzungen und keine Messungen.
| Modell | Geschätzte Gesamtmenge (GiB) | Kleinste gängige Speichergröße (GiB) |
|---|---|---|
| Qwen3 0.6B | 1.92 | 2 |
| Qwen3 1.7B | 2.74 | 4 |
| Qwen3 4B | 3.89 | 4 |
| Qwen3 8B | 6.41 | 8 |
| Qwen3 14B | 10.29 | 12 |
| Mistral 7B (v0.3) | 5.60 | 8 |
Ausprobieren: Local LLM Memory Estimator
Schätzung
- Modellgewichte
- 4.84 GiB
- KV-Cache
- 0.56 GiB
- Reserve
- 1.00 GiB
- Summe
- 6.41 GiB (6.88 GB)
- Kleinste gängige Speichergröße, die dafür reicht
- 8 GiB
Dies ist eine Schätzung. Die Rechenpuffer der Laufzeitumgebung sind nicht enthalten, und es wird angenommen, dass jede Schicht dieselbe KV-Form hat. Messen Sie einen echten Lauf, bevor Sie einen Tarif wählen.
Modelldaten geprüft am 2026-10-26.
Quellen: Ollama library · Modellkonfiguration (config.json) · Ollama FAQ
Alles läuft in Ihrem Browser. Nichts wird hochgeladen.
Schritt 2: ein Modell wählen
Die Ollama-Bibliothek kennzeichnet jedes Modell mit dem, was es kann. Ein Modell mit dem Label tools kann Funktionen aufrufen, die Sie definieren, thinking zeigt seine Überlegungen getrennt von der Antwort, vision nimmt Bilder entgegen, und embedding wandelt Text für die Suche in Vektoren um. Für den ersten Chat brauchen Sie keines davon, wählen Sie also zuerst nach dem Speicher.
| Tag | Labels | Downloadgröße | Einzuplanende Speicherklasse |
|---|---|---|---|
| qwen3:4b | tools, thinking | 2.5 GB | 4 GiB |
| llama3.2:3b | tools | 2.0 GB | hier nicht geschätzt |
| gemma3:4b | vision | 3.4 GB | hier nicht geschätzt |
| mistral:7b | tools | 4.4 GB | 8 GiB |
Die Downloadgröße ist der Speicher, den ein Modell mindestens braucht. Modelle ohne Schätzung gehören nicht zu den Voreinstellungen des Rechners, denn er benötigt ihre Schichten und Kopfgrößen aus der Konfiguration des Modells; Sie können sie als eigenes Modell eintragen.
Schritt 3: einen VPS wählen
Schauen Sie zuerst auf den Speicher, dann auf die Festplatte für die Modelldateien und dann auf die CPU. Die Festplatte spielt eine Rolle, weil eine Modelldatei mehrere Gigabyte groß ist. Prüfen Sie danach, wie viel von der Einrichtung der Dienst schon vorbereitet hat. Von den sechs Diensten am Ende dieses Leitfadens erwähnen die Seiten von ConoHa VPS, KAGOYA CLOUD VPS und XServer VPS Dify, und die Seite von ConoHa VPS führt unter ihren Startskripten außerdem n8n und Claude Code auf. Keiner der sechs nennt einen Modellserver wie Ollama, Sie installieren ihn also in Schritt 4 selbst.
Der Abschnitt am Ende dieser Seite vergleicht die sechs Dienste anhand ihrer offiziellen Seiten. Hier können Sie einen Server mit einem KI-Dienst vergleichen, den Sie über das Internet aufrufen.
Ausprobieren: LLM API Cost Calculator
Geschätzte Kosten
Geben Sie die Preise und Token-Zahlen ein, um die Kosten zu sehen.
Offizielle Preisseiten
Dies multipliziert nur die Zahlen, die Sie eingeben. Es kennt weder die Preise des Anbieters noch Rabatte, Caching, Batch-Tarife, gestaffelte Preise oder Steuern.
Die Eingabe-Tokens eines Prompts ermitteln Sie mit dem Token Counter.
Schritt 4: Ollama installieren
Das sind die Befehle aus der offiziellen Ollama-Dokumentation für Linux. Lesen Sie ein Skript, bevor Sie es auf einem wichtigen Server ausführen.
| Schritt | Befehl |
|---|---|
| Installieren | curl -fsSL https://ollama.com/install.sh | sh |
| Prüfen, ob es läuft | ollama -v |
| Ein Modell aus der Bibliothek starten | ollama run qwen3:4b |
Damit Ollama beim Start des Systems startet und weiterläuft, beschreibt die Dokumentation einen systemd-Dienst. Die vollständigen Schritte, die Einstellungen und die Updates stehen in den ausführlichen Artikeln, die weiter unten aufgeführt sind.
Schritt 5: im Browser chatten
Zum Testen eines Modells genügt die Eingabe im Terminal. Für den täglichen Gebrauch bietet Open WebUI eine Chat-Oberfläche im Browser. Seine Schnellstartanleitung startet es mit einem einzigen Befehl und stellt es unter http://localhost:3000 bereit. Ersetzen Sie your-secret-key durch einen Wert, den Sie mit openssl rand -hex 32 erzeugen.
| Schritt | Befehl |
|---|---|
| Open WebUI starten | docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data -e WEBUI_SECRET_KEY=your-secret-key --name open-webui --restart always ghcr.io/open-webui/open-webui:main |
- Das erste Konto, das Sie anlegen, ist der Administrator, und die Registrierung schaltet sich selbst ab, sobald das Admin-Konto existiert. Legen Sie es sofort an.
- Die Anleitung zeigt zwei Wege, Open WebUI mit Ollama zu verbinden, und der ausführliche Artikel erklärt beide.
Schritt 6: privat halten
Ollama lauscht standardmäßig auf 127.0.0.1 an Port 11434, was die sicherste Einstellung ist, und seine Dokumentation beschreibt keine eigene Authentifizierung. Unsere Empfehlung, keine Aussage der Dokumente: Öffnen Sie diesen Port nicht zum Internet. Setzen Sie nginx mit Passwort und HTTPS davor und nutzen Sie eine Firewall, die nur die Adressen durchlässt, die Sie verwenden.
- Halten Sie den geheimen Schlüssel und die Passwörter aus allem heraus, was Sie committen.
- Aktualisieren Sie Ollama und Open WebUI von Zeit zu Zeit und behalten Sie dabei das Datenvolume von Open WebUI.
Mehr im Detail
- 1Wie viel Arbeitsspeicher braucht ein lokales LLM auf einem VPS? Modelldatei plus KV-CacheModelldatei plus KV-Cache: Was die Ollama-Bibliothek, die Ollama-FAQ und die offiziellen Modellkonfigurationen über den Arbeitsspeicherbedarf eines lokalen LLM auf einem VPS sagen.
- 2Was kann ein lokales Modell? Tools, Thinking, Vision und Embeddings in Ollama und was auf einen VPS passtTools, Thinking, Vision, Embeddings: was die Labels in der Ollama-Bibliothek bedeuten, welche Modelle sie tragen und wie groß die Downloads sind.
- 3Ollama auf einem VPS installieren und dauerhaft betreiben: Installation, systemd-Dienst, Einstellungen und UpdatesOllama auf einem Linux-VPS installieren und dauerhaft betreiben: Installationsbefehl, systemd-Dienst, Umgebungsvariablen, Modellspeicher und Updates, nach der offiziellen Dokumentation.
- 4Open WebUI auf einem VPS: in Docker betreiben und mit Ollama verbindenOpen WebUI mit Docker betreiben und auf dem eigenen Server mit Ollama verbinden: die Befehle, das erste Konto, die zwei Verbindungstypen und das Aktualisieren.
- 5nginx vor Ollama schalten: Basic Authentication, HTTPS und Einstellungen für StreamingOllama sicher von außen erreichen: nginx als Proxy, Basic Authentication, HTTPS, Streaming- und Timeout-Einstellungen und eine Firewall-Regel, aus den offiziellen Dokumenten.
- 6KI auf dem eigenen VPS betreiben: Wie viel Arbeitsspeicher einplanen und was nicht freigebenOllama oder Dify auf einem VPS geplant? Was die offiziellen Dokumente zu Arbeitsspeicher, Inferenz nur mit CPU und zu den Ports sagen, die geschlossen bleiben sollten.
Quellen
Als Nächstes lesen
- nginx vor Ollama schalten: Basic Authentication, HTTPS und Einstellungen für StreamingOllama sicher von außen erreichen: nginx als Proxy, Basic Authentication, HTTPS, Streaming- und Timeout-Einstellungen und eine Firewall-Regel, aus den offiziellen Dokumenten.
- Open WebUI auf einem VPS: in Docker betreiben und mit Ollama verbindenOpen WebUI mit Docker betreiben und auf dem eigenen Server mit Ollama verbinden: die Befehle, das erste Konto, die zwei Verbindungstypen und das Aktualisieren.
- Ein lokales Modell aus dem eigenen Code aufrufen: Structured Outputs und die OpenAI-kompatible API in OllamaDie Ausgabe eines lokalen Modells mit einem JSON Schema einschränken und Ollama aus Clients im OpenAI-Stil aufrufen: was die offizielle Dokumentation sagt und was nicht unterstützt wird.
- Was kann ein lokales Modell? Tools, Thinking, Vision und Embeddings in Ollama und was auf einen VPS passtTools, Thinking, Vision, Embeddings: was die Labels in der Ollama-Bibliothek bedeuten, welche Modelle sie tragen und wie groß die Downloads sind.