~/tools / Chạy LLM cục bộ trên máy chủ của bạn / Ollama nginx Config Generator

Ollama nginx Config Generator — Tạo cấu hình nginx cho Ollama: HTTPS, xác thực cơ bản, danh sách được phép, truyền luồng

Tạo khối server của nginx để đặt Ollama phía sau một proxy: HTTPS với chứng chỉ của bạn, chuyển hướng từ cổng 80, mật khẩu bằng xác thực cơ bản, danh sách địa chỉ được phép, và các thiết lập giúp câu trả lời được truyền theo luồng đến ngay khi nó được viết ra. Nó bắt đầu từ ví dụ proxy trong FAQ chính thức của Ollama và chỉ dùng các chỉ thị có trong tài liệu nginx. Dữ liệu không rời khỏi trình duyệt của bạn.

server {
    listen 80;
    server_name ollama.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443 ssl;
    server_name ollama.example.com;

    ssl_certificate /etc/ssl/ollama.crt;
    ssl_certificate_key /etc/ssl/ollama.key;

    auth_basic "ollama";
    auth_basic_user_file /etc/nginx/ollama.htpasswd;

    location / {
        proxy_pass http://localhost:11434;
        proxy_set_header Host localhost:11434;
        proxy_http_version 1.1;
        proxy_buffering off;
        proxy_read_timeout 300s;
    }
}

sudo htpasswd -c /etc/nginx/ollama.htpasswd alice
sudo nginx -t
sudo nginx -s reload

Ollama mặc định chỉ lắng nghe trên chính máy chủ, và FAQ của Ollama không mô tả cơ chế xác thực nào cho nó. Khi một máy khác cần truy cập, FAQ chỉ đến một máy chủ proxy như nginx, kèm ví dụ chuyển tiếp các yêu cầu đến http://localhost:11434 và đặt header Host thành localhost:11434. Công cụ này xây dựng trên ví dụ đó với các chỉ thị từ tài liệu nginx: listen 443 ssl với chứng chỉ và khóa, một server ở cổng 80 chuyển hướng sang HTTPS, auth_basic với tệp mật khẩu, allow và deny cho địa chỉ, client_max_body_size, proxy_http_version 1.1, proxy_buffering off cho việc truyền luồng, và proxy_read_timeout cho câu trả lời đầu tiên chậm. Sự kết hợp này là của chúng tôi, không phải một ví dụ duy nhất trong tài liệu, nên chúng tôi đã kiểm tra: kết quả vượt qua nginx -t trên image nginx chính thức 1.29.8 và trên nginx 1.24.0 của Ubuntu 24.04; qua nginx 1.29.8, chúng tôi chỉ truy cập được Ollama 0.40.11 khi có đúng mật khẩu, thấy một câu trả lời truyền theo luồng đến thành 81 mảnh, và nhận 403 từ một địa chỉ ngoài danh sách được phép.

Phần xử lý chính của công cụ này là mã nguồn mở theo giấy phép MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-nginx.ts