~/tools / Chạy LLM cục bộ trên máy chủ của bạn / Ollama systemd Override Generator

Ollama systemd Override Generator — Tạo override systemd cho Ollama: OLLAMA_HOST, OLLAMA_MODELS, KEEP_ALIVE và hơn thế nữa

Tạo tệp override của systemd để đặt các biến môi trường của Ollama trên máy chủ Linux: địa chỉ lắng nghe, thư mục mô hình, thời gian mô hình ở lại trong bộ nhớ, độ dài ngữ cảnh, các yêu cầu song song, Flash Attention, loại bộ nhớ đệm K/V, các nguồn gốc (origin) bổ sung, chế độ chỉ chạy cục bộ và proxy HTTPS. Mọi biến đều lấy từ FAQ chính thức của Ollama, và mỗi giá trị được đặt trong dấu ngoặc kép theo đúng cách systemd đọc. Dữ liệu không rời khỏi trình duyệt của bạn.

[Service]
Environment="OLLAMA_KEEP_ALIVE=10m"
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_NO_CLOUD=1"

sudo systemctl edit ollama.service
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

Khi Ollama chạy như một dịch vụ systemd trên Linux, FAQ chính thức hướng dẫn đặt các biến môi trường của nó bằng systemctl edit ollama.service: thêm mỗi biến một dòng Environment dưới [Service], lưu lại, rồi chạy systemctl daemon-reload và systemctl restart ollama. Các bước rất ngắn, nhưng các chi tiết dễ làm sai. systemd mở rộng các specifier, nên dấu % phải được viết thành %%; dấu gạch chéo ngược hoặc dấu ngoặc kép bên trong một phép gán có đặt trong ngoặc kép sẽ bị đọc như ký tự thoát; và một giá trị có dấu cách phải được đặt trong ngoặc kép toàn bộ. Công cụ này viết sẵn tệp override cho bạn. Nó chỉ đưa ra các biến được ghi trong FAQ, hiển thị giá trị mặc định đã được ghi bên cạnh mỗi biến, đặt mọi phép gán trong ngoặc kép dưới dạng "NAME=value" và viết đôi dấu %. Nó cảnh báo khi một giá trị khiến Ollama lắng nghe trên mọi giao diện mạng, khi một số lượng không phải số nguyên, và khi bộ nhớ đệm K/V lượng tử hóa được chọn trong lúc Flash Attention bị tắt. Chúng tôi đã kiểm tra kết quả trên Ubuntu 24.04 với systemd 255: chúng tôi dán nó vào systemctl edit và xác nhận rằng dịch vụ nhận từng giá trị nguyên vẹn, kể cả dấu cách, $, ' và %.

Phần xử lý chính của công cụ này là mã nguồn mở theo giấy phép MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-systemd.ts