비싼 PC 없이 로컬 LLM 시작하기: VPS 활용 입문 가이드

VPS는 데이터 센터에 있는 컴퓨터를 빌려 쓰는 것입니다. 여기서 로컬 LLM이란 인터넷으로 호출하는 서비스가 아니라, 그 컴퓨터에서 직접 돌아가는 모델을 뜻합니다. 대화 내용은 직접 관리하는 서버에 남습니다.

VPS는 강력한 그래픽 카드를 갖춘 PC를 대신할 수 없으며, 이 가이드도 그렇게 주장하지 않습니다. 아래는 우리가 확인할 수 있었던 것과 확인하지 못한 것입니다.

모델에는 모델 파일을 위한 메모리, 대화가 길어질수록 커지는 캐시를 위한 메모리, 운영체제를 위한 메모리가 필요합니다. 아래 표는 컨텍스트 길이 4,096 토큰, 한 번에 요청 하나, 시스템용으로 1 GiB를 남겨 둔다는 조건에서 여섯 개 모델을 추정한 값입니다. 이 값은 Ollama 라이브러리의 크기와 공식 모델 설정을 바탕으로 계산한 것이므로, 측정값이 아니라 추정치입니다.

Ollama 라이브러리는 각 모델에 할 수 있는 일을 레이블로 표시합니다. tools 레이블이 붙은 모델은 직접 정의한 함수를 호출할 수 있고, thinking은 추론 과정을 답변과 따로 보여 주며, vision은 이미지를 받을 수 있고, embedding은 검색용으로 텍스트를 벡터로 바꿉니다. 첫 대화에는 어느 것도 필요하지 않으니, 먼저 메모리를 기준으로 고르세요.

먼저 메모리를 보고, 그다음 모델 파일을 저장할 디스크, 그리고 CPU를 보세요. 모델 파일 하나가 수 GB나 되기 때문에 디스크도 중요합니다. 그다음으로 서비스가 환경을 어디까지 준비해 두었는지 살펴봅니다. 이 가이드 끝에 나오는 여섯 서비스 중 ConoHa VPS, KAGOYA CLOUD VPS, XServer VPS의 페이지에는 Dify가 언급되어 있고, ConoHa VPS의 페이지에는 시작 스크립트 목록에 n8n과 Claude Code도 올라 있습니다. 여섯 곳 모두 Ollama 같은 모델 서버는 올려 두지 않았으므로, 4단계에서 직접 설치합니다.

이 페이지 끝의 섹션에서는 여섯 서비스를 공식 페이지를 바탕으로 비교합니다. 여기서는 서버와 인터넷으로 호출하는 AI 서비스를 비교해 볼 수 있습니다.

아래는 Ollama 공식 문서에 있는 Linux용 명령어입니다. 중요한 서버에서 스크립트를 실행하기 전에는 먼저 내용을 읽어 보세요.

모델을 시험해 보는 데는 터미널에서 입력하는 것으로 충분합니다. 일상적으로 쓰려면 Open WebUI가 브라우저에서 쓰는 채팅 화면을 제공합니다. 빠른 시작 안내에서는 명령어 하나로 실행하며 http://localhost:3000 에서 접속합니다. your-secret-key는 openssl rand -hex 32로 만든 값으로 바꾸세요.

Ollama는 기본적으로 127.0.0.1의 11434번 포트에서 수신하며, 이것이 가장 안전한 설정입니다. 문서에는 Ollama 자체의 인증에 대한 설명이 없습니다. 문서의 내용이 아니라 우리의 권장 사항입니다. 그 포트를 인터넷에 열지 마세요. 앞에 nginx를 두어 비밀번호와 HTTPS를 걸고, 사용하는 주소만 허용하는 방화벽을 쓰세요.