~/tools / 서버에서 로컬 LLM 실행하기 / Ollama Model Info Reader

Ollama Model Info Reader — ollama show 읽기: 컨텍스트, 레이어, 기능, 라이선스, KV 캐시

Ollama 모델의 /api/show 응답, 또는 ollama show나 ollama show --verbose의 출력을 붙여 넣으면 모델을 한눈에 볼 수 있습니다. 크기, 양자화, 지원하는 최대 컨텍스트, 레이어와 어텐션 헤드, 할 수 있는 일(tools, vision, thinking, embeddings 등), 기본 파라미터, 시스템 프롬프트, 라이선스를 보여 줍니다. num_ctx에 따라 늘어나는 메모리인 KV 캐시도 컨텍스트 길이별로 계산합니다. 데이터는 브라우저 밖으로 나가지 않습니다.

curl http://localhost:11434/api/show -d '{"model": "qwen2.5:7b"}'

ollama show qwen2.5:7b --verbose

You are Qwen, created by Alibaba Cloud. You are a helpful assistant.

Apache License
...

ollama show와 /api/show 엔드포인트는 설치된 모델을 설명하지만, 가장 쓸모 있는 정보는 긴 GGUF 메타데이터 곳곳에 흩어져 있습니다. 레이어 수는 <architecture>.block_count, 최대 컨텍스트는 <architecture>.context_length, KV 캐시의 크기를 정하는 어텐션 헤드는 attention.head_count와 attention.head_count_kv입니다. 이 도구는 /api/show의 JSON 또는 ollama show의 텍스트(짧은 형식과 --verbose 모두)를 읽어 이 정보를 한곳에 모아 줍니다. Ollama 소스 코드(v0.40.15)에서 쓰는 이름, 즉 completion, tools, insert, vision, embedding, thinking, image, audio, decision, speech를 각각의 의미와 함께 나열합니다. thinking 모델에는 think가 받는 값과 기본값을 보여 줍니다. 모델에 설정된 stop, temperature, num_ctx 같은 파라미터와 시스템 프롬프트, 라이선스도 보여 줍니다. KV 캐시는 레이어 수, KV 헤드 수, 헤드 크기로 기본 유형인 f16 기준으로 계산합니다. 2(키와 값) × 레이어 수 × KV 헤드 수 × 헤드 크기 × 2바이트 × 컨텍스트 길이입니다. 이 공식은 Ollama 자체 로그와 대조해 확인했습니다. qwen2.5:7b는 4096 토큰에서 224 MiB, 8192 토큰에서 448 MiB였고, qwen2.5:0.5b는 4096 토큰에서 48 MiB, 32768 토큰에서 384 MiB였습니다. 헤드 크기는 모델에 attention.key_length가 있으면 그 값을 쓰고, 없으면 embedding_length를 head_count로 나눈 값을 씁니다. 슬라이딩 윈도가 있는 모델이나 레이어끼리 KV 캐시를 공유하는 모델은 표보다 적게 사용합니다. 도구는 추측하지 않고 그 사실을 알려 줍니다. 이 도구는 Ollama 0.40.11에서 qwen2.5:7b의 /api/show, ollama show, ollama show --verbose 실제 출력과 Ollama API 레퍼런스의 예제로 확인했습니다.

이 도구의 핵심 로직은 MIT 라이선스의 오픈 소스로 공개되어 있습니다. github.com/seigo5555/toolkitbox-lib/src/ollama-show.ts