~/tools / 在自己的伺服器上執行本機 LLM / Ollama nginx Config Generator

Ollama nginx Config Generator — 建立 Ollama 的 nginx 設定：HTTPS、基本驗證、允許清單、串流

建立 nginx 的 server 區塊，把 Ollama 放在代理伺服器後面：使用你自己憑證的 HTTPS、從 80 連接埠的轉址、以基本驗證設定的密碼、位址允許清單，以及讓串流的回答隨寫隨到的設定。它以官方 Ollama FAQ 中的代理範例為起點，只使用 nginx 文件中的指令。輸入的內容不會離開你的瀏覽器。

server {
    listen 80;
    server_name ollama.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443 ssl;
    server_name ollama.example.com;

    ssl_certificate /etc/ssl/ollama.crt;
    ssl_certificate_key /etc/ssl/ollama.key;

    auth_basic "ollama";
    auth_basic_user_file /etc/nginx/ollama.htpasswd;

    location / {
        proxy_pass http://localhost:11434;
        proxy_set_header Host localhost:11434;
        proxy_http_version 1.1;
        proxy_buffering off;
        proxy_read_timeout 300s;
    }
}

sudo htpasswd -c /etc/nginx/ollama.htpasswd alice
sudo nginx -t
sudo nginx -s reload

Ollama 預設只在伺服器本機監聽，而 Ollama FAQ 並未說明它有任何驗證機制。當另一台機器需要連到它時，FAQ 建議使用 nginx 之類的代理伺服器，並給了一個範例：把請求轉發到 http://localhost:11434，並將 Host 標頭設為 localhost:11434。本工具以該範例為基礎，加上 nginx 文件中的指令：搭配憑證與金鑰的 listen 443 ssl、轉址到 HTTPS 的 80 連接埠 server、搭配密碼檔的 auth_basic、限制位址的 allow 與 deny、client_max_body_size、proxy_http_version 1.1、用於串流的 proxy_buffering off，以及應付第一個回答較慢的 proxy_read_timeout。這個組合是我們自己設計的，並非文件中的單一範例，所以我們做了測試：輸出內容在官方 nginx 1.29.8 映像檔與 Ubuntu 24.04 的 nginx 1.24.0 上都通過了 nginx -t；透過 nginx 1.29.8，只有密碼正確時才能連到 Ollama 0.40.11，串流的回答分成 81 段送達，而允許清單以外的位址則收到 403。

這個工具的核心邏輯以 MIT 授權開放原始碼。 github.com/seigo5555/toolkitbox-lib/src/ollama-nginx.ts