VPS에서 Open WebUI 사용하기: Docker로 실행하고 Ollama에 연결하기
자신의 서버에서 Docker로 Open WebUI를 실행하고 Ollama에 연결하기: 명령어, 첫 번째 계정, 두 가지 연결 방식, 업데이트 방법.
게시: 사용할 수 있는 도구: Local LLM Memory Estimator
VPS에서 로컬 LLM
내 서버에서 언어 모델을 돌리는 방법을 다룬 글입니다. 필요한 메모리, 설치, 설정, 모델별로 할 수 있는 일을 Ollama와 모델 제공사의 공식 문서에서 확인한 내용만으로 정리했습니다.
내 코드에서 로컬 모델 호출하기: Ollama의 구조화된 출력과 OpenAI 호환 API
JSON Schema로 로컬 모델의 출력을 제한하고 OpenAI 방식 클라이언트에서 Ollama를 호출하기: 공식 문서의 내용과 지원되지 않는 항목.
게시: 사용할 수 있는 도구: JSON Schema Validator, LLM JSON Repair
로컬 모델은 무엇을 할 수 있을까? Ollama의 tools, thinking, vision, embedding과 VPS에서 돌릴 수 있는 범위
tools, thinking, vision, embedding: Ollama 라이브러리의 라벨이 뜻하는 것, 해당 라벨을 가진 모델, 다운로드 크기.
게시: 사용할 수 있는 도구: Local LLM Memory Estimator
VPS에 Ollama를 설치하고 계속 실행하기: 설치, systemd 서비스, 설정, 업데이트
Linux VPS에 Ollama를 설치하고 계속 실행하기: 설치 명령, systemd 서비스, 환경 변수, 모델 저장 위치, 업데이트를 공식 문서 기준으로 정리했습니다.
게시: 사용할 수 있는 도구: Local LLM Memory Estimator
VPS에서 로컬 LLM을 돌리려면 메모리가 얼마나 필요할까? 모델 파일과 KV 캐시
모델 파일과 KV 캐시: VPS에서 로컬 LLM에 필요한 메모리에 대해 Ollama 라이브러리, Ollama FAQ, 공식 모델 설정이 말하는 내용.
게시: 사용할 수 있는 도구: Local LLM Memory Estimator
VPS에서 직접 AI 돌리기: 메모리는 얼마나 잡아야 하고, 무엇을 공개하면 안 되는가
VPS에서 Ollama나 Dify를 돌릴 계획이신가요? 메모리, CPU만으로 추론하는 경우, 닫아 두어야 할 포트에 대해 공식 문서가 말하는 내용을 정리했습니다.
게시: 사용할 수 있는 도구: LLM API Cost Calculator