~/ / KI-Artikel / Lokale LLMs auf einem VPS / Ollama auf einem VPS installieren und dauerhaft betreiben: Installation, systemd-Dienst, Einstellungen und Updates
Ollama auf einem VPS installieren und dauerhaft betreiben: Installation, systemd-Dienst, Einstellungen und Updates
Wenn Sie wissen, dass ein Modell in den Arbeitsspeicher Ihres VPS passt, ist die Installation von Ollama mit wenigen Befehlen erledigt. Mehr Sorgfalt erfordert der Dauerbetrieb: der Start beim Booten, die Umgebungsvariablen, der Speicherort der großen Modelldateien und spätere Updates. Dieser Artikel geht die offizielle Ollama-Dokumentation für Linux und die FAQ Schritt für Schritt durch.
Veröffentlicht: · 4 Min. Lesezeit · Geprüft anhand der offiziellen Ollama-Dokumentation am 2026-10-26. Befehle und Standardwerte ändern sich; prüfen Sie sie in den aktuellen Dokumenten, bevor Sie auf einem Server etwas ausführen.
Zuerst den Arbeitsspeicher prüfen
Ein Modell, das nicht in den Arbeitsspeicher Ihres Servers passt, läuft nicht gut, und es vorher herunterzuladen kostet unnötig Zeit und Speicherplatz. Schätzen Sie den Speicherbedarf ab, bevor Sie etwas installieren: die Modelldatei, plus den KV-Cache für die geplante Kontextlänge, plus eine Reserve für das Betriebssystem.
Ausprobieren: Local LLM Memory Estimator
Schätzung
- Modellgewichte
- 4.84 GiB
- KV-Cache
- 0.56 GiB
- Reserve
- 1.00 GiB
- Summe
- 6.41 GiB (6.88 GB)
- Kleinste gängige Speichergröße, die dafür reicht
- 8 GiB
Dies ist eine Schätzung. Die Rechenpuffer der Laufzeitumgebung sind nicht enthalten, und es wird angenommen, dass jede Schicht dieselbe KV-Form hat. Messen Sie einen echten Lauf, bevor Sie einen Tarif wählen.
Modelldaten geprüft am 2026-10-26.
Quellen: Ollama library · Modellkonfiguration (config.json) · Ollama FAQ
Alles läuft in Ihrem Browser. Nichts wird hochgeladen.
Installation
Die Ollama-Dokumentation für Linux nennt einen Installationsbefehl in einer Zeile und eine manuelle Installation. Lesen Sie ein Skript, bevor Sie es auf einem wichtigen Server in eine Shell leiten; das Skript liegt unter der Adresse im Befehl.
| Weg | Befehl oder Schritt |
|---|---|
| Installationsskript | curl -fsSL https://ollama.com/install.sh | sh |
| Manuell: beim Upgrade alte Bibliotheken entfernen | sudo rm -rf /usr/lib/ollama |
| Manuell: herunterladen und entpacken | curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst | sudo tar x -C /usr |
| Manuell: den Server starten | ollama serve |
| Prüfen, ob er läuft (in einem anderen Terminal) | ollama -v |
Für einen ARM64-Server verwendet die Dokumentation ollama-linux-arm64.tar.zst statt des amd64-Pakets. GPU-Treiber sind optional: Die Dokumentation nennt CUDA für NVIDIA-GPUs und ROCm für AMD-GPUs; ein typischer VPS hat keines von beiden.
Als Dienst betreiben
Damit Ollama beim Booten startet und nach einem Fehler neu gestartet wird, beschreibt die Dokumentation einen systemd-Dienst. Legen Sie zuerst einen eigenen Benutzer und eine eigene Gruppe an und erstellen Sie dann die Unit-Datei /etc/systemd/system/ollama.service.
| Abschnitt | Zeilen in der Unit-Datei der Dokumentation |
|---|---|
| [Unit] | eine Beschreibung und After=network-online.target |
| [Service] | ExecStart=/usr/bin/ollama serve |
| [Service] | User=ollama und Group=ollama |
| [Service] | Restart=always und RestartSec=3 |
| [Service] | Environment="PATH=$PATH" |
| [Install] | WantedBy=multi-user.target |
- Benutzer und Gruppe anlegen: sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama, danach sudo usermod -a -G ollama $(whoami)
- Unit laden und aktivieren: sudo systemctl daemon-reload, danach sudo systemctl enable ollama
- Starten und prüfen: sudo systemctl start ollama, danach sudo systemctl status ollama
- Logs lesen: journalctl -e -u ollama
Die Dokumentation sagt nicht, ob das Installationsskript diesen Dienst selbst einrichtet. Prüfen Sie nach der Installation mit systemctl status ollama, statt es einfach anzunehmen.
Wichtige Einstellungen auf einem Server
Umgebungsvariablen gehören in ein systemd-Override. Laut FAQ bearbeiten Sie den Dienst mit systemctl edit ollama.service, fügen die Variable unter [Service] hinzu und führen dann systemctl daemon-reload und systemctl restart ollama aus. Zum Beispiel: Environment="OLLAMA_HOST=0.0.0.0:11434".
| Variable | Was die Dokumentation sagt |
|---|---|
| OLLAMA_HOST | Ollama bindet standardmäßig 127.0.0.1 auf Port 11434; diese Variable ändert die Bind-Adresse |
| OLLAMA_KEEP_ALIVE | Standardmäßig bleiben Modelle 5 Minuten im Speicher, bevor sie entladen werden; ein keep_alive-Wert in einer API-Anfrage überschreibt diese Einstellung |
| OLLAMA_MAX_LOADED_MODELS | Die maximale Anzahl gleichzeitig geladener Modelle, sofern sie in den Speicher passen; der Standardwert ist 3 bei CPU-Inferenz |
| OLLAMA_MODELS | Unter Linux werden Modelle in /usr/share/ollama/.ollama/models gespeichert; setzen Sie diese Variable, um ein anderes Verzeichnis zu verwenden, und geben Sie dem Benutzer ollama Lese- und Schreibzugriff darauf, zum Beispiel mit sudo chown -R ollama:ollama <directory> |
Modelldateien sind groß (der Download von Qwen3 8B hat 5.2 GB, der von 14B 9.3 GB). Prüfen Sie daher den freien Speicherplatz des VPS, bevor Sie mehrere Modelle herunterladen.
Von außen erreichbar machen
Laut FAQ betreibt Ollama einen HTTP-Server und kann über einen Proxyserver wie Nginx erreichbar gemacht werden. Das Beispiel lauscht auf Port 80, setzt einen server_name, leitet Anfragen mit proxy_pass http://localhost:11434 weiter und setzt den Host-Header auf localhost:11434.
Die FAQ-Seite, die wir geprüft haben, beschreibt keine Authentifizierung für den Ollama-Server. Unsere Empfehlung, keine Aussage der Dokumente: Behalten Sie die Standardadresse bei und erreichen Sie den Server über einen SSH-Tunnel; wenn Sie einen Proxy davorsetzen, richten Sie dort Authentifizierung und HTTPS ein und beschränken Sie den Port in der Firewall auf die Adressen, die Sie verwenden.
Aktualisieren, prüfen und entfernen
- Aktualisieren Sie, indem Sie das Installationsskript erneut ausführen oder das Tarball mit den manuellen Schritten erneut herunterladen.
- Um eine bestimmte Version zu installieren, setzen Sie OLLAMA_VERSION vor das Skript, zum Beispiel curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh. Die Versionsnummern stehen auf der GitHub-Releases-Seite.
- Um ein Modell aus der Bibliothek auszuführen, verwenden Sie den Befehl von dessen Seite, zum Beispiel ollama run qwen3:4b.
- Um den Dienst zu entfernen, führen Sie sudo systemctl stop ollama und sudo systemctl disable ollama aus und löschen dann die Unit-Datei. Die Dokumentation nennt außerdem das Entfernen der Bibliotheken, der Binärdatei sowie der Modelle, des Benutzers und der Gruppe in /usr/share/ollama.
Quellen
Als Nächstes lesen
- Ein lokales Modell aus dem eigenen Code aufrufen: Structured Outputs und die OpenAI-kompatible API in OllamaDie Ausgabe eines lokalen Modells mit einem JSON Schema einschränken und Ollama aus Clients im OpenAI-Stil aufrufen: was die offizielle Dokumentation sagt und was nicht unterstützt wird.
- Was kann ein lokales Modell? Tools, Thinking, Vision und Embeddings in Ollama und was auf einen VPS passtTools, Thinking, Vision, Embeddings: was die Labels in der Ollama-Bibliothek bedeuten, welche Modelle sie tragen und wie groß die Downloads sind.
- Wie viel Arbeitsspeicher braucht ein lokales LLM auf einem VPS? Modelldatei plus KV-CacheModelldatei plus KV-Cache: Was die Ollama-Bibliothek, die Ollama-FAQ und die offiziellen Modellkonfigurationen über den Arbeitsspeicherbedarf eines lokalen LLM auf einem VPS sagen.
- KI auf dem eigenen VPS betreiben: Wie viel Arbeitsspeicher einplanen und was nicht freigebenOllama oder Dify auf einem VPS geplant? Was die offiziellen Dokumente zu Arbeitsspeicher, Inferenz nur mit CPU und zu den Ports sagen, die geschlossen bleiben sollten.