~/tools / Локальная LLM на своём сервере / Ollama nginx Config Generator

Ollama nginx Config Generator — Соберите конфигурацию nginx для Ollama: HTTPS, базовая аутентификация, список адресов, потоковая передача

Соберите блок server для nginx, который ставит Ollama за прокси: HTTPS с вашим сертификатом, перенаправление с порта 80, пароль через базовую аутентификацию, список разрешённых адресов и настройки, благодаря которым потоковые ответы приходят по мере написания. За основу взят пример прокси из официального FAQ Ollama, используются только директивы из документации nginx. Данные не покидают ваш браузер.

server {
    listen 80;
    server_name ollama.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443 ssl;
    server_name ollama.example.com;

    ssl_certificate /etc/ssl/ollama.crt;
    ssl_certificate_key /etc/ssl/ollama.key;

    auth_basic "ollama";
    auth_basic_user_file /etc/nginx/ollama.htpasswd;

    location / {
        proxy_pass http://localhost:11434;
        proxy_set_header Host localhost:11434;
        proxy_http_version 1.1;
        proxy_buffering off;
        proxy_read_timeout 300s;
    }
}

sudo htpasswd -c /etc/nginx/ollama.htpasswd alice
sudo nginx -t
sudo nginx -s reload

По умолчанию Ollama слушает только на самом сервере, а FAQ Ollama не описывает для неё никакой аутентификации. Если к ней должен подключаться другой компьютер, FAQ указывает на прокси-сервер вроде nginx и даёт пример, который передаёт запросы на http://localhost:11434 и задаёт заголовок Host равным localhost:11434. Этот инструмент развивает пример директивами из документации nginx: listen 443 ssl с сертификатом и ключом, сервер на порту 80 с перенаправлением на HTTPS, auth_basic с файлом паролей, allow и deny для адресов, client_max_body_size, proxy_http_version 1.1, proxy_buffering off для потоковой передачи и proxy_read_timeout для медленного первого ответа. Это сочетание наше, а не один пример из документации, поэтому мы его проверили: результат прошёл nginx -t на официальном образе nginx 1.29.8 и на nginx 1.24.0 из Ubuntu 24.04, а через nginx 1.29.8 мы подключились к Ollama 0.40.11 только с правильным паролем, увидели потоковый ответ, пришедший в 81 части, и получили 403 с адреса вне списка разрешённых адресов.

Основная логика этого инструмента открыта под лицензией MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-nginx.ts