toolkitbox

~/ / AI 기사 / VPS에서 로컬 LLM / VPS에 Ollama를 설치하고 계속 실행하기: 설치, systemd 서비스, 설정, 업데이트

VPS에 Ollama를 설치하고 계속 실행하기: 설치, systemd 서비스, 설정, 업데이트

모델이 VPS의 메모리에 들어간다는 것을 확인했다면, Ollama 설치는 명령 몇 개로 끝납니다. 더 신경 써야 하는 것은 계속 실행해 두는 일입니다. 부팅 시 자동으로 시작하게 하고, 환경 변수를 설정하고, 큰 모델 파일을 둘 위치를 정하고, 나중에 업데이트해야 합니다. 이 글은 Linux용 Ollama 공식 문서와 FAQ를 단계별로 살펴봅니다.

게시: · 읽는 데 약 6분 · 2026-10-26에 Ollama 공식 문서를 기준으로 확인했습니다. 명령과 기본값은 바뀔 수 있으므로, 서버에서 무언가를 실행하기 전에 최신 문서에서 다시 확인하세요.

먼저 메모리를 확인하기

서버의 메모리에 들어가지 않는 모델은 제대로 동작하지 않으며, 먼저 내려받으면 시간과 디스크 공간만 낭비됩니다. 무엇이든 설치하기 전에 메모리를 추정해 보세요. 모델 파일, 사용할 컨텍스트 길이에 해당하는 KV 캐시, 그리고 운영체제를 위한 여유분을 더한 값입니다.

직접 해보기: Local LLM Memory Estimator

모델

Ollama 태그 qwen3:8b, 양자화 Q4_K_M, 다운로드 크기 5.2 GB.

추정값

모델 가중치
4.84 GiB
KV 캐시
0.56 GiB
예비분
1.00 GiB
합계
6.41 GiB (6.88 GB)
담을 수 있는 가장 작은 일반 메모리 크기
8 GiB

이 값은 추정입니다. 런타임의 연산 버퍼는 포함하지 않으며, 모든 레이어의 KV 구조가 같다고 가정합니다. 플랜을 정하기 전에 실제로 실행해 측정하세요.

모델 데이터 확인일: 2026-10-26.

출처: Ollama library · 모델 구성 파일 (config.json) · Ollama FAQ

모든 처리는 브라우저 안에서 이루어지며 아무것도 업로드되지 않습니다.

설치

Linux용 Ollama 문서는 한 줄짜리 설치 명령과 수동 설치 방법을 제시합니다. 중요한 서버에서는 스크립트를 셸에 파이프로 넘기기 전에 내용을 먼저 읽어 보세요. 스크립트는 명령에 적힌 주소에 있습니다.

방법명령 또는 단계
설치 스크립트curl -fsSL https://ollama.com/install.sh | sh
수동: 업그레이드 시 기존 라이브러리 삭제sudo rm -rf /usr/lib/ollama
수동: 내려받아 압축 해제curl -fsSL https://ollama.com/download/ollama-linux-amd64.tar.zst | sudo tar x -C /usr
수동: 서버 시작ollama serve
실행 중인지 확인(다른 터미널에서)ollama -v

ARM64 서버에서는 문서가 amd64 패키지 대신 ollama-linux-arm64.tar.zst를 사용합니다. GPU 드라이버는 필수가 아닙니다. 문서에는 NVIDIA GPU용 CUDA와 AMD GPU용 ROCm이 나와 있는데, 일반적인 VPS에는 둘 다 없습니다.

서비스로 실행하기

부팅 시 Ollama를 시작하고 장애 후에 다시 시작하려면, 문서에 설명된 systemd 서비스를 사용합니다. 먼저 전용 사용자와 그룹을 만든 다음, 유닛 파일 /etc/systemd/system/ollama.service를 만듭니다.

섹션문서의 유닛 파일에 있는 줄
[Unit]설명, 그리고 After=network-online.target
[Service]ExecStart=/usr/bin/ollama serve
[Service]User=ollama 및 Group=ollama
[Service]Restart=always 및 RestartSec=3
[Service]Environment="PATH=$PATH"
[Install]WantedBy=multi-user.target
  • 사용자와 그룹 만들기: sudo useradd -r -s /bin/false -U -m -d /usr/share/ollama ollama, 이어서 sudo usermod -a -G ollama $(whoami)
  • 유닛을 불러오고 활성화하기: sudo systemctl daemon-reload, 이어서 sudo systemctl enable ollama
  • 시작하고 확인하기: sudo systemctl start ollama, 이어서 sudo systemctl status ollama
  • 로그 보기: journalctl -e -u ollama

문서에는 설치 스크립트가 이 서비스를 직접 설정하는지에 대한 설명이 없습니다. 설치한 뒤에는 짐작하지 말고 systemctl status ollama로 확인하세요.

서버에서 중요한 설정

환경 변수는 systemd override에 넣습니다. FAQ에 따르면 systemctl edit ollama.service로 서비스를 편집하고, [Service] 아래에 변수를 추가한 다음, systemctl daemon-reload와 systemctl restart ollama를 실행합니다. 예: Environment="OLLAMA_HOST=0.0.0.0:11434".

변수문서의 설명
OLLAMA_HOSTOllama는 기본적으로 127.0.0.1의 11434번 포트에 바인딩합니다. 이 변수로 바인딩 주소를 바꿉니다
OLLAMA_KEEP_ALIVE기본적으로 모델은 언로드되기 전까지 5분 동안 메모리에 유지됩니다. API 요청의 keep_alive 값은 이 설정보다 우선합니다
OLLAMA_MAX_LOADED_MODELS메모리에 들어가는 경우 동시에 로드할 수 있는 모델의 최대 개수입니다. CPU 추론의 기본값은 3입니다
OLLAMA_MODELSLinux에서 모델은 /usr/share/ollama/.ollama/models에 저장됩니다. 다른 디렉터리를 쓰려면 이 변수를 설정하고, ollama 사용자에게 그 디렉터리의 읽기·쓰기 권한을 주어야 합니다. 예: sudo chown -R ollama:ollama <directory>

모델 파일은 큽니다(Qwen3 8B는 내려받는 크기가 5.2 GB, 14B는 9.3 GB입니다). 모델을 여러 개 내려받기 전에 VPS의 남은 디스크 공간을 확인하세요.

외부에서 접속하기

FAQ에 따르면 Ollama는 HTTP 서버로 동작하며 Nginx 같은 프록시 서버를 사용해 외부에 공개할 수 있습니다. 예시에서는 80번 포트에서 요청을 받고, server_name을 지정하고, proxy_pass http://localhost:11434로 요청을 전달하며, Host 헤더를 localhost:11434로 설정합니다.

우리가 확인한 FAQ 페이지에는 Ollama 서버의 인증에 관한 설명이 없습니다. 문서의 내용이 아니라 우리의 권장 사항입니다. 기본 주소를 그대로 두고 SSH 터널로 서버에 접속하세요. 앞단에 프록시를 두는 경우에는 그곳에서 인증과 HTTPS를 추가하고, 방화벽에서 이 포트를 사용하는 주소로만 제한하세요.

업데이트, 확인, 삭제

  • 업데이트는 설치 스크립트를 다시 실행하거나, 수동 방법으로 tarball을 다시 내려받아 합니다.
  • 특정 버전을 설치하려면 스크립트 앞에 OLLAMA_VERSION을 지정합니다. 예: curl -fsSL https://ollama.com/install.sh | OLLAMA_VERSION=0.5.7 sh. 버전 번호는 GitHub 릴리스 페이지에서 확인할 수 있습니다.
  • 라이브러리의 모델을 실행하려면 해당 모델 페이지에 표시된 명령을 사용합니다. 예: ollama run qwen3:4b.
  • 서비스를 제거하려면 sudo systemctl stop ollama와 sudo systemctl disable ollama를 실행한 다음 유닛 파일을 삭제합니다. 문서에는 라이브러리, 바이너리, 그리고 /usr/share/ollama에 있는 모델·사용자·그룹을 삭제하는 방법도 나와 있습니다.

출처

다음에 읽기