작은 VPS에서 Ollama의 메모리 사용량 살펴보기
Ollama가 메모리에 무엇을 올려 두는지, 얼마나 오래 두는지, 어떤 설정이 이를 바꾸는지 알아봅니다. 공식 FAQ를 바탕으로 한 ollama ps, keep_alive와 각종 제한값입니다.
게시: 사용할 수 있는 도구: Local LLM Memory Estimator
~/ / 서버에서 로컬 LLM 실행하기
서버에서 로컬 LLM 실행하기
내 컴퓨터나 VPS에서 Ollama를 실행할 때 쓰는 도구를 필요한 순서대로 모았습니다. 모델에 필요한 메모리를 추정하고, systemd로 서버를 계속 실행하며, nginx 뒤에서 안전하게 공개하고, API를 호출합니다. 제대로 동작하지 않을 때는 응답, 모델 정보, 서버 로그를 읽어 봅니다.
사용하는 순서대로 정리한 도구
- 로컬 LLM에 필요한 메모리 추정: 모델 파일 + KV 캐시Local LLM Memory EstimatorVPS에서 로컬 LLM에 필요한 메모리 추정: 모델 파일 + KV 캐시
- Ollama의 systemd 오버라이드 만들기: OLLAMA_HOST, OLLAMA_MODELS, KEEP_ALIVE 등Ollama systemd Override Generatorsystemd가 읽는 방식에 맞게 따옴표를 감싼 Ollama 환경 변수용 systemd 오버라이드 만들기
- Ollama용 nginx 설정 만들기: HTTPS, 기본 인증, 허용 목록, 스트리밍Ollama nginx Config GeneratorHTTPS, 비밀번호, 스트리밍을 갖춘 Ollama용 nginx server 블록 만들기
- Ollama /api/chat용 curl 요청 만들기: format, tools, think, optionsOllama API Request Builderformat, tools, think, options를 갖춘 Ollama /api/chat용 curl 요청 만들기
- 채팅 요청과 응답을 Ollama /api/chat과 /v1/chat/completions 사이에서 변환Ollama OpenAI Converter채팅 요청과 응답을 Ollama /api/chat과 /v1/chat/completions 사이에서 변환
- Ollama 스트림을 합쳐 속도와 멈춘 이유 확인Ollama Stream Reader스트리밍된 Ollama 응답을 다시 합치고 멈춘 이유와 속도 확인
- ollama show 읽기: 컨텍스트, 레이어, 기능, 라이선스, KV 캐시Ollama Model Info Readerollama show나 /api/show 읽기: 컨텍스트, 레이어, 기능, 라이선스, KV 캐시 크기
- Ollama 서버 로그 읽기: 메모리, GPU 레이어, 컨텍스트, 속도, 경고Ollama Log ReaderOllama 서버 로그 읽기: 모델별 메모리, GPU 레이어, 컨텍스트, 속도, 경고
이 주제의 글
내 VPS의 Ollama에 Dify 연결하기
내 VPS에서 Dify를 실행하고 Ollama를 모델로 사용하기: 설치, 플러그인 입력란, Docker 주소 문제, 임베딩을 공식 문서 기준으로 정리했습니다.
게시: 사용할 수 있는 도구: Local LLM Memory Estimator
비싼 PC 없이 로컬 LLM 시작하기: VPS 활용 입문 가이드
고성능 PC가 없다면 VPS를 빌려 작은 로컬 LLM을 브라우저에서 써 보세요. 메모리 추정부터 보호된 채팅 화면까지 6단계, 한계도 솔직하게 적었습니다.
게시: 사용할 수 있는 도구: Local LLM Memory Estimator, LLM API Cost Calculator
VPS에서 Open WebUI 사용하기: Docker로 실행하고 Ollama에 연결하기
자신의 서버에서 Docker로 Open WebUI를 실행하고 Ollama에 연결하기: 명령어, 첫 번째 계정, 두 가지 연결 방식, 업데이트 방법.
게시: 사용할 수 있는 도구: Local LLM Memory Estimator
내 코드에서 로컬 모델 호출하기: Ollama의 구조화된 출력과 OpenAI 호환 API
JSON Schema로 로컬 모델의 출력을 제한하고 OpenAI 방식 클라이언트에서 Ollama를 호출하기: 공식 문서의 내용과 지원되지 않는 항목.
게시: 사용할 수 있는 도구: JSON Schema Validator, LLM JSON Repair, Ollama OpenAI Converter
로컬 모델은 무엇을 할 수 있을까? Ollama의 tools, thinking, vision, embedding과 VPS에서 돌릴 수 있는 범위
tools, thinking, vision, embedding: Ollama 라이브러리의 라벨이 뜻하는 것, 해당 라벨을 가진 모델, 다운로드 크기.
게시: 사용할 수 있는 도구: Local LLM Memory Estimator