~/tools / Faire tourner un LLM local sur votre serveur / Ollama nginx Config Generator

Ollama nginx Config Generator — Créez une config nginx pour Ollama : HTTPS, authentification basique, liste autorisée, streaming

Créez un bloc server nginx qui place Ollama derrière un proxy : HTTPS avec votre certificat, une redirection depuis le port 80, un mot de passe avec authentification basique, une liste d'adresses autorisées et des réglages pour que les réponses en streaming arrivent au fur et à mesure qu'elles sont écrites. Il part de l'exemple de proxy de la FAQ officielle d'Ollama et n'utilise que des directives de la documentation de nginx. Rien ne quitte votre navigateur.

server {
    listen 80;
    server_name ollama.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443 ssl;
    server_name ollama.example.com;

    ssl_certificate /etc/ssl/ollama.crt;
    ssl_certificate_key /etc/ssl/ollama.key;

    auth_basic "ollama";
    auth_basic_user_file /etc/nginx/ollama.htpasswd;

    location / {
        proxy_pass http://localhost:11434;
        proxy_set_header Host localhost:11434;
        proxy_http_version 1.1;
        proxy_buffering off;
        proxy_read_timeout 300s;
    }
}

sudo htpasswd -c /etc/nginx/ollama.htpasswd alice
sudo nginx -t
sudo nginx -s reload

Par défaut, Ollama n'écoute que sur le serveur lui-même, et la FAQ d'Ollama ne décrit aucune authentification pour lui. Lorsqu'une autre machine doit y accéder, la FAQ renvoie à un serveur proxy comme nginx, avec un exemple qui transmet les requêtes à http://localhost:11434 et fixe l'en-tête Host à localhost:11434. Cet outil prolonge cet exemple avec des directives de la documentation de nginx : listen 443 ssl avec un certificat et une clé, un serveur sur le port 80 qui redirige vers HTTPS, auth_basic avec un fichier de mots de passe, allow et deny pour les adresses, client_max_body_size, proxy_http_version 1.1, proxy_buffering off pour le streaming et proxy_read_timeout pour une première réponse lente. La combinaison est de nous, et non un exemple unique tiré des documents, nous l'avons donc testée : la sortie a passé nginx -t sur l'image officielle de nginx 1.29.8 et sur nginx 1.24.0 d'Ubuntu 24.04, et, via nginx 1.29.8, nous avons atteint Ollama 0.40.11 uniquement avec le bon mot de passe, vu une réponse en streaming arriver en 81 morceaux et obtenu 403 depuis une adresse hors de la liste autorisée.

Le cœur de cet outil est open source, sous licence MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-nginx.ts