~/tools / 서버에서 로컬 LLM 실행하기 / Ollama Log Reader

Ollama Log Reader — Ollama 서버 로그 읽기: 메모리, GPU 레이어, 컨텍스트, 속도, 경고

Ollama의 서버 로그(server.log, journalctl, docker logs의 것)를 붙여 넣으면 중요한 내용만 골라 보여 줍니다. 모델을 불러올 때마다 메모리를 얼마나 어디에 썼는지(가중치, KV 캐시, 계산 버퍼를 CPU와 GPU별로), GPU에 올라간 레이어 수, 컨텍스트 길이, 요청과 그 상태, 프롬프트와 생성 속도, 그리고 모든 경고를 설명과 함께 보여 줍니다. 프롬프트가 컨텍스트에 맞춰 잘렸을 때, 모델이 메모리에 들어가지 않았을 때, Ollama가 모델을 다시 불러왔을 때도 알 수 있습니다. 데이터는 브라우저 밖으로 나가지 않습니다.

# macOS
cat ~/.ollama/logs/server.log

# Linux (systemd)
journalctl -u ollama --no-pager

# Docker
docker logs <container-name>

# Windows
explorer %LOCALAPPDATA%\Ollama

Ollama가 느리거나, 긴 프롬프트의 앞부분을 무시하거나, 요청이 500 오류로 실패할 때 그 이유는 대개 서버 로그에 있습니다. 로그에는 Ollama 자신의 줄(time=… level=… msg=…), HTTP 요청마다 한 줄([GIN] …), 그리고 Ollama가 각 GGUF 모델을 불러오려고 실행하는 llama.cpp 프로그램인 llama-server의 출력이 섞여 있습니다. 이 도구는 세 가지를 모두 읽습니다. 모델을 불러올 때마다 컨텍스트 길이(-c), 병렬 요청 수(-np), 모델의 파일 형식과 크기, 학습된 컨텍스트 길이, GPU로 오프로드된 레이어 수, 가중치와 KV 캐시와 계산 버퍼의 메모리를 장치별로 보여 줍니다. 또한 요청을 상태와 소요 시간과 함께 나열하고, llama-server가 요청마다 출력하는 프롬프트와 생성 속도도 보여 줍니다. 그런 다음 Ollama 소스 코드(v0.40.15)의 메시지를 바탕으로 무엇이 잘못됐는지 설명합니다. 프롬프트가 컨텍스트에 들어가지 않으면 Ollama는 처음 num_keep 토큰과 프롬프트의 끝을 남기고 그 사이를 버려, 프롬프트가 컨텍스트의 약 절반이 될 때까지 줄입니다. 우리의 테스트에서, num_ctx 256에서 633토큰의 프롬프트가 130토큰으로 잘렸습니다. truncate를 false로 하면 같은 요청이 400 오류로 거부되었습니다. 모델이 학습된 길이보다 큰 num_ctx는 그 길이로 낮춰집니다. 모델이 메모리에 들어가지 않으면 불러오기가 실패합니다. 우리의 테스트에서, 메모리 1.9 GiB에 GPU가 없는 Linux에서 qwen2.5:7b는 가중치에만 4,460 MiB가 필요했고, llama-server는 signal: killed로 중단되었으며, 요청은 500을 반환했습니다. llama-server가 종료되었다는 줄 바로 뒤에 새 시작이 이어진다면, 충돌한 것이 아니라 Ollama가 다른 설정으로 모델을 다시 불러오는 중이라는 뜻입니다. 로그 형식은 릴리스마다 바뀝니다. 이 도구는 아는 줄을 읽고 나머지는 건너뜁니다. macOS(Apple M1)와 GPU 없는 Docker의 Linux에서 나온 Ollama 0.40.11의 실제 로그로 확인했습니다.

이 도구의 핵심 로직은 MIT 라이선스의 오픈 소스로 공개되어 있습니다. github.com/seigo5555/toolkitbox-lib/src/ollama-log.ts