~/tools / ローカルLLMをサーバーで動かす / Ollama Model Info Reader

Ollama Model Info Reader — ollama show からコンテキストと機能を読む

Ollama モデルの /api/show のレスポンス、または ollama show か ollama show --verbose の出力を貼り付けると、モデルの概要が一目で分かります。サイズ、量子化、対応する最長のコンテキスト、レイヤーとアテンションヘッド、できること(tools、vision、thinking、embeddings など)、デフォルトのパラメータ、システムプロンプト、ライセンスを表示します。num_ctx に応じて増えるメモリである KV キャッシュも、コンテキスト長ごとに計算します。データはブラウザの外に出ません。

curl http://localhost:11434/api/show -d '{"model": "qwen2.5:7b"}'

ollama show qwen2.5:7b --verbose

You are Qwen, created by Alibaba Cloud. You are a helpful assistant.

Apache License
...

ollama show と /api/show エンドポイントは、インストール済みのモデルを説明しますが、いちばん役に立つ情報は長い GGUF メタデータのあちこちに散らばっています。レイヤー数は <architecture>.block_count、最長のコンテキストは <architecture>.context_length、KV キャッシュのサイズを決めるアテンションヘッドは attention.head_count と attention.head_count_kv です。このツールは、/api/show の JSON、または ollama show のテキスト(短い形式と --verbose のどちらも)を読み取り、これらの情報を1か所にまとめます。Ollama のソースコード(v0.40.15)で使われている名前、つまり completion、tools、insert、vision、embedding、thinking、image、audio、decision、speech について、それぞれの意味を添えて一覧にします。thinking に対応するモデルでは、think が受け付ける値とデフォルトを表示します。モデルに設定されている stop、temperature、num_ctx などのパラメータ、システムプロンプト、ライセンスも表示します。KV キャッシュは、レイヤー数、KV ヘッド数、ヘッドサイズから、デフォルトの型である f16 で計算します。2(キーと値) × レイヤー数 × KV ヘッド数 × ヘッドサイズ × 2 バイト × コンテキスト長 です。この式は Ollama 自身のログと照らして確認しました。qwen2.5:7b では 4096 トークンで 224 MiB、8192 トークンで 448 MiB、qwen2.5:0.5b では 4096 トークンで 48 MiB、32768 トークンで 384 MiB でした。ヘッドサイズは、モデルに attention.key_length があればそれを使い、なければ embedding_length を head_count で割った値を使います。スライディングウィンドウを持つモデルや、レイヤー間で KV キャッシュを共有するモデルでは、表よりも使用量が小さくなります。ツールは推測せず、その旨を表示します。このツールは、Ollama 0.40.11 での qwen2.5:7b の /api/show、ollama show、ollama show --verbose の実際の出力と、Ollama の API リファレンスにある例で確認しました。

このツールの計算部分は、オープンソース(MIT ライセンス)で公開しています。 github.com/seigo5555/toolkitbox-lib/src/ollama-show.ts