~/tools / Ein lokales LLM auf dem eigenen Server / Ollama systemd Override Generator

Ollama systemd Override Generator — Das systemd-Override für Ollama erstellen: OLLAMA_HOST, OLLAMA_MODELS, KEEP_ALIVE und mehr

Erstellen Sie das systemd-Override, das die Umgebungsvariablen von Ollama auf einem Linux-Server setzt: die Listen-Adresse, das Modellverzeichnis, wie lange Modelle im Speicher bleiben, die Kontextlänge, parallele Anfragen, Flash Attention, den K/V-Cache-Typ, zusätzliche Origins, den reinen Lokalmodus und einen HTTPS-Proxy. Jede Variable stammt aus der offiziellen Ollama-FAQ, und jeder Wert wird so in Anführungszeichen gesetzt, wie systemd ihn liest. Nichts verlässt Ihren Browser.

Umgebungsvariablen

Leere Felder werden nicht geschrieben. Der graue Text ist der in der Ollama-FAQ genannte Standardwert.

OLLAMA_HOSTAdresse und Port, auf denen Ollama lauschtOLLAMA_MODELSVerzeichnis für Modelldateien; der Benutzer ollama braucht Lese- und SchreibrechteOLLAMA_KEEP_ALIVEWie lange ein Modell im Speicher bleibt: 10m, 24h, 3600 (Sekunden), -1 zum Behalten, 0 zum sofortigen EntladenOLLAMA_CONTEXT_LENGTHStandard-Kontextfenster in TokensOLLAMA_NUM_PARALLELParallele Anfragen pro Modell; der Speicherbedarf wächst mit diesem Wert mal der KontextlängeOLLAMA_MAX_LOADED_MODELSGleichzeitig geladene Modelle, sofern sie passen (3 bei CPU-Inferenz)OLLAMA_MAX_QUEUEIn die Warteschlange gestellte Anfragen bei Auslastung, bevor weitere mit 503 abgelehnt werdenOLLAMA_FLASH_ATTENTIONWird automatisch verwendet, wenn unterstützt; 1 erzwingt es, 0 schaltet es ausOLLAMA_KV_CACHE_TYPEq8_0 braucht etwa die Hälfte des Speichers von f16 und q4_0 etwa ein Viertel, wenn Flash Attention an istOLLAMA_ORIGINSZusätzliche Web-Origins, die Ollama aufrufen dürfen, durch Kommas getrenntOLLAMA_NO_CLOUDReiner Lokalmodus, ohne die Cloud-Modelle und die Websuche von OllamaOLLAMA_NO_CLOUD=1 setzenHTTPS_PROXYProxy für Modell-Downloads

Override für systemctl edit

Fügen Sie dies zwischen den beiden Kommentarzeilen in den Editor ein, den sudo systemctl edit ollama.service öffnet. Es wird unter /etc/systemd/system/ollama.service.d/override.conf gespeichert.

[Service]
Environment="OLLAMA_KEEP_ALIVE=10m"
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_NO_CLOUD=1"

Befehle

Führen Sie sie in dieser Reihenfolge auf dem Server aus. Der letzte zeigt die Variablen, die der Dienst erhalten hat. Wenn Sie OLLAMA_MODELS ändern, legen die ersten beiden das Verzeichnis an und übergeben es dem Benutzer ollama; mkdir -p ist unsere Ergänzung, weil chown bei einem nicht vorhandenen Verzeichnis fehlschlägt.

sudo systemctl edit ollama.service
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

Variablen und Standardwerte wie in der Ollama-FAQ angegeben sowie Regeln zur Anführungszeichen-Setzung aus dem Handbuch systemd.exec, geprüft am 2026-11-03. Ollama-FAQ / systemd.exec: Environment=

Alles geschieht in Ihrem Browser. Nichts, was Sie eingeben, wird irgendwohin gesendet.

Läuft Ollama unter Linux als systemd-Dienst, empfiehlt die offizielle FAQ, seine Umgebungsvariablen mit systemctl edit ollama.service zu setzen: Fügen Sie unter [Service] pro Variable eine Environment-Zeile hinzu, speichern Sie und führen Sie dann systemctl daemon-reload und systemctl restart ollama aus. Die Schritte sind kurz, aber die Details lassen sich leicht falsch machen. systemd ersetzt Specifier, daher muss ein %-Zeichen als %% geschrieben werden; ein Backslash oder ein doppeltes Anführungszeichen innerhalb einer Zuweisung in Anführungszeichen wird als Escape-Sequenz gelesen; und ein Wert mit Leerzeichen muss als Ganzes in Anführungszeichen stehen. Dieses Tool schreibt das Override für Sie. Es bietet nur die in der FAQ dokumentierten Variablen an, zeigt neben jeder den dokumentierten Standardwert, setzt jede Zuweisung als "NAME=value" in Anführungszeichen und verdoppelt %-Zeichen. Es warnt, wenn ein Wert dazu führen würde, dass Ollama auf allen Netzwerkschnittstellen lauscht, wenn eine Anzahl keine ganze Zahl ist und wenn ein quantisierter K/V-Cache bei ausgeschaltetem Flash Attention gewählt wird. Wir haben die Ausgabe unter Ubuntu 24.04 mit systemd 255 getestet: Wir haben sie in systemctl edit eingefügt und bestätigt, dass der Dienst jeden Wert unverändert erhielt, einschließlich Leerzeichen, $, ' und %.

Die Kernlogik dieses Tools ist Open Source unter der MIT-Lizenz. github.com/seigo5555/toolkitbox-lib/src/ollama-systemd.ts

Anwendungsfälle

Ein Modell auf einem kleinen VPS mit OLLAMA_KEEP_ALIVE länger im Speicher halten oder früher entladen
Die Modelldateien mit OLLAMA_MODELS auf eine größere Festplatte verschieben
Ollama auf ein geladenes Modell begrenzen und die Standard-Kontextlänge für einen Server mit wenig Arbeitsspeicher festlegen

Verwendung

Füllen Sie nur die Variablen aus, die Sie ändern möchten. Leere Felder werden weggelassen, sodass Ollama seine Standardwerte behält. Der graue Text in jedem Feld ist der Standardwert aus der FAQ.
Lesen Sie die Warnungen. Eine andere Listen-Adresse als 127.0.0.1 oder localhost macht Ollama von anderen Rechnern aus erreichbar, und die FAQ beschreibt dafür keine Authentifizierung.
Führen Sie sudo systemctl edit ollama.service aus, fügen Sie den Text im Editor zwischen den beiden Kommentarzeilen ein, speichern Sie und beenden Sie den Editor. Führen Sie dann die übrigen Befehle aus, um systemd neu zu laden, Ollama neu zu starten und die übernommenen Werte zu prüfen.

FAQ

Wo wird die Datei gespeichert?

systemctl edit speichert sie als Drop-in-Datei unter /etc/systemd/system/ollama.service.d/override.conf und lässt die eigentliche Unit-Datei unverändert. Als wir es unter Ubuntu 24.04 ausgeführt haben, zeigte der Editor den Kommentar ### Anything between here and the comment below will become the contents of the drop-in file. Fügen Sie den Text zwischen diesem Kommentar und dem darunter ein.

Warum steht jeder Wert in doppelten Anführungszeichen?

Laut der systemd-Dokumentation muss bei einem Wert mit Leerzeichen oder Gleichheitszeichen die gesamte Zuweisung in Anführungszeichen stehen. Wenn jede Zeile gleich in Anführungszeichen gesetzt wird, bleiben Pfade mit Leerzeichen und Listen wie OLLAMA_ORIGINS erhalten. Die Dokumentation sagt außerdem, dass $ dort keine besondere Bedeutung hat und daher unverändert weitergegeben wird, während % einen Specifier einleitet; deshalb schreibt das Tool %% für ein wörtliches %.

Welche Zeichen werden nicht akzeptiert?

Doppelte Anführungszeichen, Backslashes und Steuerzeichen wie Tabulatoren. In einer Zuweisung in Anführungszeichen liest systemd sie als Escape-Sequenzen oder lehnt sie ab, sodass der Wert nicht wie eingegeben bei Ollama ankäme. Das Tool meldet sie als Fehler und lässt diese Zeile weg.

Ist es sicher, OLLAMA_HOST auf 0.0.0.0 zu setzen?

Dann lauscht Ollama auf allen Netzwerkschnittstellen, sodass andere Rechner es erreichen können. Laut der FAQ bindet Ollama standardmäßig 127.0.0.1 Port 11434 und beschreibt keine Authentifizierung für den Server. Unsere Empfehlung, keine Aussage aus den Dokumenten: Behalten Sie den Standard bei und erreichen Sie Ollama über einen SSH-Tunnel oder einen Proxy mit Passwort und HTTPS, und beschränken Sie Port 11434 in der Firewall.

Kann ich ein Passwort in HTTPS_PROXY angeben?

Das Tool warnt, wenn die Proxy-Adresse einen Benutzernamen und ein Passwort enthält. Die systemd-Dokumentation sagt, dass Umgebungsvariablen nicht zur Übergabe von Geheimnissen geeignet sind, weil die für eine Unit gesetzten Werte von nicht privilegierten Clients gelesen werden können. Die FAQ rät außerdem davon ab, HTTP_PROXY zu setzen, weil Ollama Modelle nur über HTTPS lädt und HTTP_PROXY Verbindungen von Clients unterbrechen kann; deshalb bietet das Tool nur HTTPS_PROXY an.

Wird etwas an einen Server gesendet?

Nein. Das Override wird in Ihrem Browser zusammengesetzt.