~/tools / Rodar um LLM local no seu servidor / Ollama nginx Config Generator

Ollama nginx Config Generator — Crie uma configuração do nginx para o Ollama: HTTPS, autenticação básica, lista de permitidos, streaming

Crie um bloco server do nginx que coloca o Ollama atrás de um proxy: HTTPS com o seu certificado, um redirecionamento a partir da porta 80, uma senha com autenticação básica, uma lista de endereços permitidos e ajustes para que as respostas em streaming cheguem conforme são escritas. Ele parte do exemplo de proxy do FAQ oficial do Ollama e usa apenas diretivas da documentação do nginx. Nada sai do seu navegador.

server {
    listen 80;
    server_name ollama.example.com;
    return 301 https://$host$request_uri;
}

server {
    listen 443 ssl;
    server_name ollama.example.com;

    ssl_certificate /etc/ssl/ollama.crt;
    ssl_certificate_key /etc/ssl/ollama.key;

    auth_basic "ollama";
    auth_basic_user_file /etc/nginx/ollama.htpasswd;

    location / {
        proxy_pass http://localhost:11434;
        proxy_set_header Host localhost:11434;
        proxy_http_version 1.1;
        proxy_buffering off;
        proxy_read_timeout 300s;
    }
}

sudo htpasswd -c /etc/nginx/ollama.htpasswd alice
sudo nginx -t
sudo nginx -s reload

Por padrão, o Ollama escuta apenas no próprio servidor, e o FAQ do Ollama não descreve nenhuma autenticação para ele. Quando outra máquina precisa acessá-lo, o FAQ aponta para um servidor proxy como o nginx, com um exemplo que encaminha as requisições para http://localhost:11434 e define o cabeçalho Host como localhost:11434. Esta ferramenta se baseia nesse exemplo com diretivas da documentação do nginx: listen 443 ssl com um certificado e uma chave, um servidor na porta 80 que redireciona para HTTPS, auth_basic com um arquivo de senhas, allow e deny para os endereços, client_max_body_size, proxy_http_version 1.1, proxy_buffering off para o streaming e proxy_read_timeout para uma primeira resposta lenta. A combinação é nossa, não um único exemplo dos documentos, então a testamos: a saída passou no nginx -t na imagem oficial do nginx 1.29.8 e no nginx 1.24.0 do Ubuntu 24.04, e, pelo nginx 1.29.8, chegamos ao Ollama 0.40.11 apenas com a senha correta, vimos uma resposta em streaming chegar em 81 pedaços e recebemos 403 de um endereço fora da lista de permitidos.

A lógica principal desta ferramenta é de código aberto, sob a licença MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-nginx.ts