~/tools / Lokalny LLM na własnym serwerze / Ollama nginx Config Generator

Ollama nginx Config Generator — Zbuduj konfigurację nginx dla Ollama: HTTPS, basic auth, lista dozwolonych adresów, strumieniowanie

Zbuduj blok server nginx, który stawia Ollama za proxy: HTTPS z Twoim certyfikatem, przekierowanie z portu 80, hasło przez uwierzytelnianie podstawowe, listę dozwolonych adresów oraz ustawienia, dzięki którym odpowiedzi strumieniowane docierają w miarę pisania. Punktem wyjścia jest przykład proxy z oficjalnego FAQ Ollama, a użyte są wyłącznie dyrektywy z dokumentacji nginx. Nic nie opuszcza Twojej przeglądarki.

server {
    listen 80;
    server_name ollama.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443 ssl;
    server_name ollama.example.com;

    ssl_certificate /etc/ssl/ollama.crt;
    ssl_certificate_key /etc/ssl/ollama.key;

    auth_basic "ollama";
    auth_basic_user_file /etc/nginx/ollama.htpasswd;

    location / {
        proxy_pass http://localhost:11434;
        proxy_set_header Host localhost:11434;
        proxy_http_version 1.1;
        proxy_buffering off;
        proxy_read_timeout 300s;
    }
}

sudo htpasswd -c /etc/nginx/ollama.htpasswd alice
sudo nginx -t
sudo nginx -s reload

Ollama domyślnie nasłuchuje tylko na samym serwerze, a FAQ Ollama nie opisuje dla niej żadnego uwierzytelniania. Gdy musi się z nią połączyć inny komputer, FAQ wskazuje serwer proxy, taki jak nginx, z przykładem, który przekazuje żądania na http://localhost:11434 i ustawia nagłówek Host na localhost:11434. To narzędzie rozbudowuje ten przykład o dyrektywy z dokumentacji nginx: listen 443 ssl z certyfikatem i kluczem, serwer na porcie 80 przekierowujący na HTTPS, auth_basic z plikiem haseł, allow i deny dla adresów, client_max_body_size, proxy_http_version 1.1, proxy_buffering off dla strumieniowania oraz proxy_read_timeout na wolną pierwszą odpowiedź. Ta kombinacja jest nasza, a nie pojedynczym przykładem z dokumentacji, więc ją przetestowaliśmy: wynik przeszedł nginx -t na oficjalnym obrazie nginx 1.29.8 i na nginx 1.24.0 z Ubuntu 24.04, a przez nginx 1.29.8 dotarliśmy do Ollama 0.40.11 tylko z właściwym hasłem, zobaczyliśmy odpowiedź strumieniową docierającą w 81 kawałkach i dostaliśmy 403 z adresu spoza listy dozwolonych adresów.

Główna logika tego narzędzia jest otwartoźródłowa, na licencji MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-nginx.ts