~/tools / ローカルLLMをサーバーで動かす / Ollama nginx Config Generator

Ollama nginx Config Generator — Ollama を守る nginx 設定を作る

Ollama をプロキシの背後に置く nginx の server ブロックを作ります。手元の証明書による HTTPS、ポート 80 からのリダイレクト、Basic 認証によるパスワード、アドレスの許可リスト、そして生成された答えが書かれたそばから届くようにする設定を指定できます。公式の Ollama FAQ にあるプロキシの例を出発点とし、nginx のドキュメントにあるディレクティブだけを使います。入力した内容はブラウザの外に出ません。

server {
    listen 80;
    server_name ollama.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443 ssl;
    server_name ollama.example.com;

    ssl_certificate /etc/ssl/ollama.crt;
    ssl_certificate_key /etc/ssl/ollama.key;

    auth_basic "ollama";
    auth_basic_user_file /etc/nginx/ollama.htpasswd;

    location / {
        proxy_pass http://localhost:11434;
        proxy_set_header Host localhost:11434;
        proxy_http_version 1.1;
        proxy_buffering off;
        proxy_read_timeout 300s;
    }
}

sudo htpasswd -c /etc/nginx/ollama.htpasswd alice
sudo nginx -t
sudo nginx -s reload

Ollama は既定ではサーバー自身でしか待ち受けず、Ollama FAQ にも認証についての記載はありません。別のマシンから接続する必要があるときは、FAQ が nginx のようなプロキシサーバーを案内しており、http://localhost:11434 にリクエストを転送して Host ヘッダーを localhost:11434 にする例が載っています。このツールは、その例に nginx のドキュメントにあるディレクティブを加えて組み立てます。証明書と鍵を使う listen 443 ssl、HTTPS へリダイレクトするポート 80 の server、パスワードファイルを使う auth_basic、アドレスを制限する allow と deny、client_max_body_size、proxy_http_version 1.1、ストリーミングのための proxy_buffering off、最初の答えが遅いときのための proxy_read_timeout です。この組み合わせはドキュメントのひとつの例ではなく私たち独自のものなので、テストしました。出力は、公式の nginx 1.29.8 イメージと Ubuntu 24.04 の nginx 1.24.0 の両方で nginx -t に通りました。また nginx 1.29.8 を通して、正しいパスワードのときだけ Ollama 0.40.11 に接続できること、ストリーミングされた答えが81個に分かれて届くこと、許可リストの外のアドレスからは 403 が返ることを確認しました。

このツールの計算部分は、オープンソース(MIT ライセンス)で公開しています。 github.com/seigo5555/toolkitbox-lib/src/ollama-nginx.ts