~/tools / Eseguire un LLM locale sul tuo server / Ollama nginx Config Generator

Ollama nginx Config Generator — Crea una config nginx per Ollama: HTTPS, autenticazione di base, elenco consentiti, streaming

Crea un blocco server di nginx che mette Ollama dietro un proxy: HTTPS con il tuo certificato, un reindirizzamento dalla porta 80, una password con autenticazione di base, un elenco di indirizzi consentiti e impostazioni che fanno arrivare le risposte in streaming man mano che vengono scritte. Parte dall'esempio di proxy delle FAQ ufficiali di Ollama e usa solo direttive della documentazione di nginx. Nulla lascia il tuo browser.

server {
    listen 80;
    server_name ollama.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443 ssl;
    server_name ollama.example.com;

    ssl_certificate /etc/ssl/ollama.crt;
    ssl_certificate_key /etc/ssl/ollama.key;

    auth_basic "ollama";
    auth_basic_user_file /etc/nginx/ollama.htpasswd;

    location / {
        proxy_pass http://localhost:11434;
        proxy_set_header Host localhost:11434;
        proxy_http_version 1.1;
        proxy_buffering off;
        proxy_read_timeout 300s;
    }
}

sudo htpasswd -c /etc/nginx/ollama.htpasswd alice
sudo nginx -t
sudo nginx -s reload

Per impostazione predefinita Ollama ascolta solo sul server stesso, e le FAQ di Ollama non descrivono alcuna autenticazione per esso. Quando un'altra macchina deve raggiungerlo, le FAQ indicano un server proxy come nginx, con un esempio che inoltra le richieste a http://localhost:11434 e imposta l'intestazione Host su localhost:11434. Questo strumento sviluppa quell'esempio con direttive della documentazione di nginx: listen 443 ssl con un certificato e una chiave, un server sulla porta 80 che reindirizza a HTTPS, auth_basic con un file di password, allow e deny per gli indirizzi, client_max_body_size, proxy_http_version 1.1, proxy_buffering off per lo streaming e proxy_read_timeout per una prima risposta lenta. La combinazione è nostra, non un singolo esempio dei documenti, quindi l'abbiamo provata: l'output ha superato nginx -t sull'immagine ufficiale di nginx 1.29.8 e su nginx 1.24.0 di Ubuntu 24.04, e attraverso nginx 1.29.8 abbiamo raggiunto Ollama 0.40.11 solo con la password giusta, abbiamo visto arrivare una risposta in streaming in 81 pezzi e abbiamo ottenuto 403 da un indirizzo fuori dall'elenco dei consentiti.

La logica principale di questo strumento è open source, con licenza MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-nginx.ts