~/tools / 서버에서 로컬 LLM 실행하기 / Ollama systemd Override Generator

Ollama systemd Override Generator — Ollama의 systemd 오버라이드 만들기: OLLAMA_HOST, OLLAMA_MODELS, KEEP_ALIVE 등

Linux 서버에서 Ollama의 환경 변수를 설정하는 systemd 오버라이드를 만듭니다. 수신 주소, 모델 디렉터리, 모델을 메모리에 두는 시간, 컨텍스트 길이, 병렬 요청, Flash Attention, K/V 캐시 유형, 추가 오리진, 로컬 전용 모드, HTTPS 프록시를 지정할 수 있습니다. 모든 변수는 공식 Ollama FAQ에 나온 것이며, 각 값은 systemd가 읽는 방식에 맞게 따옴표로 감쌉니다. 입력한 내용은 브라우저 밖으로 나가지 않습니다.

[Service]
Environment="OLLAMA_KEEP_ALIVE=10m"
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_MAX_LOADED_MODELS=1"
Environment="OLLAMA_NO_CLOUD=1"

sudo systemctl edit ollama.service
sudo systemctl daemon-reload
sudo systemctl restart ollama
systemctl show ollama --property=Environment

Ollama를 Linux에서 systemd 서비스로 실행할 때, 공식 FAQ는 systemctl edit ollama.service로 환경 변수를 설정하라고 안내합니다. [Service] 아래에 변수마다 Environment 줄을 하나씩 추가하고 저장한 뒤 systemctl daemon-reload와 systemctl restart ollama를 실행합니다. 절차는 짧지만 세부 사항에서 실수하기 쉽습니다. systemd는 지정자를 확장하므로 % 기호는 %%로 써야 하고, 따옴표로 감싼 대입문 안의 백슬래시와 큰따옴표는 이스케이프로 읽히며, 공백이 있는 값은 전체를 따옴표로 감싸야 합니다. 이 도구가 그 오버라이드를 대신 작성합니다. FAQ에 문서화된 변수만 고를 수 있게 하고, 각 변수 옆에 문서에 나온 기본값을 보여 주며, 모든 대입문을 "NAME=value" 형태로 따옴표로 감싸고 % 기호를 두 번 씁니다. Ollama가 모든 네트워크 인터페이스에서 수신하게 되는 값, 정수가 아닌 개수, Flash Attention을 끈 채 양자화된 K/V 캐시를 고른 경우에는 경고합니다. 출력은 Ubuntu 24.04와 systemd 255에서 테스트했습니다. systemctl edit에 붙여 넣고, 공백, $, ', %를 포함해 서비스가 각 값을 그대로 받는 것을 확인했습니다.

이 도구의 핵심 로직은 MIT 라이선스의 오픈 소스로 공개되어 있습니다. github.com/seigo5555/toolkitbox-lib/src/ollama-systemd.ts