~/tools / Menjalankan LLM lokal di server Anda / Ollama nginx Config Generator

Ollama nginx Config Generator — Buat konfigurasi nginx untuk Ollama: HTTPS, autentikasi dasar, daftar izin, streaming

Buat blok server nginx yang menempatkan Ollama di belakang proxy: HTTPS dengan sertifikat Anda, pengalihan dari port 80, kata sandi dengan autentikasi dasar, daftar alamat yang diizinkan, dan pengaturan agar jawaban yang di-stream tiba begitu ditulis. Dimulai dari contoh proxy di FAQ resmi Ollama dan hanya memakai direktif dari dokumentasi nginx. Tidak ada data yang keluar dari browser Anda.

server {
    listen 80;
    server_name ollama.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443 ssl;
    server_name ollama.example.com;

    ssl_certificate /etc/ssl/ollama.crt;
    ssl_certificate_key /etc/ssl/ollama.key;

    auth_basic "ollama";
    auth_basic_user_file /etc/nginx/ollama.htpasswd;

    location / {
        proxy_pass http://localhost:11434;
        proxy_set_header Host localhost:11434;
        proxy_http_version 1.1;
        proxy_buffering off;
        proxy_read_timeout 300s;
    }
}

sudo htpasswd -c /etc/nginx/ollama.htpasswd alice
sudo nginx -t
sudo nginx -s reload

Ollama secara default hanya mendengarkan di server itu sendiri, dan FAQ Ollama tidak menjelaskan autentikasi apa pun untuknya. Saat mesin lain perlu menjangkaunya, FAQ menunjuk ke server proxy seperti nginx, dengan contoh yang meneruskan permintaan ke http://localhost:11434 dan mengatur header Host ke localhost:11434. Alat ini membangun di atas contoh itu dengan direktif dari dokumentasi nginx: listen 443 ssl dengan sertifikat dan kunci, server di port 80 yang mengalihkan ke HTTPS, auth_basic dengan file kata sandi, allow dan deny untuk alamat, client_max_body_size, proxy_http_version 1.1, proxy_buffering off untuk streaming, dan proxy_read_timeout untuk jawaban pertama yang lambat. Kombinasi ini buatan kami, bukan satu contoh tunggal dari dokumen, jadi kami mengujinya: keluarannya lolos nginx -t pada image nginx resmi 1.29.8 dan pada nginx 1.24.0 dari Ubuntu 24.04; lewat nginx 1.29.8 kami hanya bisa menjangkau Ollama 0.40.11 dengan kata sandi yang benar, melihat jawaban yang di-stream tiba dalam 81 potongan, dan mendapat 403 dari alamat di luar daftar yang diizinkan.

Logika utama alat ini bersifat sumber terbuka dengan lisensi MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-nginx.ts