~/tools / Ein lokales LLM auf dem eigenen Server / Ollama nginx Config Generator

Ollama nginx Config Generator — Eine nginx-Konfiguration für Ollama erstellen: HTTPS, Basic Auth, erlaubte Adressen, Streaming

Erstellen Sie einen nginx-Server-Block, der Ollama hinter einen Proxy setzt: HTTPS mit Ihrem Zertifikat, eine Weiterleitung von Port 80, ein Passwort per Basic Authentication, eine Liste erlaubter Adressen und Einstellungen, mit denen gestreamte Antworten so ankommen, wie sie geschrieben werden. Ausgangspunkt ist das Proxy-Beispiel aus der offiziellen Ollama-FAQ; verwendet werden nur Direktiven aus der nginx-Dokumentation. Nichts verlässt Ihren Browser.

server {
    listen 80;
    server_name ollama.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443 ssl;
    server_name ollama.example.com;

    ssl_certificate /etc/ssl/ollama.crt;
    ssl_certificate_key /etc/ssl/ollama.key;

    auth_basic "ollama";
    auth_basic_user_file /etc/nginx/ollama.htpasswd;

    location / {
        proxy_pass http://localhost:11434;
        proxy_set_header Host localhost:11434;
        proxy_http_version 1.1;
        proxy_buffering off;
        proxy_read_timeout 300s;
    }
}

sudo htpasswd -c /etc/nginx/ollama.htpasswd alice
sudo nginx -t
sudo nginx -s reload

Ollama lauscht standardmäßig nur auf dem Server selbst, und die Ollama-FAQ beschreibt dafür keine Authentifizierung. Muss ein anderer Rechner es erreichen, verweist die FAQ auf einen Proxy-Server wie nginx, mit einem Beispiel, das Anfragen an http://localhost:11434 weiterleitet und den Host-Header auf localhost:11434 setzt. Dieses Tool baut auf diesem Beispiel auf, mit Direktiven aus der nginx-Dokumentation: listen 443 ssl mit Zertifikat und Schlüssel, ein Server auf Port 80, der auf HTTPS weiterleitet, auth_basic mit einer Passwortdatei, allow und deny für Adressen, client_max_body_size, proxy_http_version 1.1, proxy_buffering off für das Streaming und proxy_read_timeout für eine langsame erste Antwort. Die Kombination stammt von uns und ist kein einzelnes Beispiel aus den Dokumenten, deshalb haben wir sie getestet: Die Ausgabe bestand nginx -t mit dem offiziellen nginx-1.29.8-Image und mit nginx 1.24.0 aus Ubuntu 24.04; über nginx 1.29.8 erreichten wir Ollama 0.40.11 nur mit dem richtigen Passwort, sahen eine gestreamte Antwort in 81 Teilen ankommen und erhielten 403 von einer Adresse außerhalb der Liste erlaubter Adressen.

Die Kernlogik dieses Tools ist Open Source unter der MIT-Lizenz. github.com/seigo5555/toolkitbox-lib/src/ollama-nginx.ts