~/tools / Локальная LLM на своём сервере / Ollama Model Info Reader

Ollama Model Info Reader — Читайте ollama show: контекст, слои, возможности, лицензия, кэш KV

Вставьте ответ /api/show для модели Ollama или вывод ollama show либо ollama show --verbose и увидите модель целиком: размер, квантизацию, самый длинный поддерживаемый контекст, слои и головы внимания, что модель умеет (tools, vision, thinking, embedding и другое), её параметры по умолчанию, системный промпт и лицензию. Инструмент также считает кэш KV для каждой длины контекста, то есть память, которая растёт вместе с num_ctx. Данные не покидают ваш браузер.

curl http://localhost:11434/api/show -d '{"model": "qwen2.5:7b"}'

ollama show qwen2.5:7b --verbose

You are Qwen, created by Alibaba Cloud. You are a helpful assistant.

Apache License
...

ollama show и эндпоинт /api/show описывают установленную модель, но самые полезные сведения разбросаны по длинному списку метаданных GGUF: число слоёв — это <architecture>.block_count, самый длинный контекст — <architecture>.context_length, а головы внимания, определяющие размер кэша KV, — это attention.head_count и attention.head_count_kv. Этот инструмент читает JSON из /api/show или текст ollama show (краткий вариант или --verbose) и собирает эти сведения в одном месте. Он перечисляет возможности (capabilities) с пояснением каждой, используя названия из исходного кода Ollama (v0.40.15): completion, tools, insert, vision, embedding, thinking, image, audio, decision и speech. Для моделей с thinking он показывает значения, которые принимает think, и значение по умолчанию. Он показывает параметры, заданные в модели, такие как stop, temperature или num_ctx, системный промпт и лицензию. По числу слоёв, голов KV и размеру головы он считает кэш KV для f16, типа по умолчанию: 2 (ключи и значения) × слои × головы KV × размер головы × 2 байта × длина контекста. Мы сверили эту формулу с собственным логом Ollama: для qwen2.5:7b 224 MiB при 4096 токенах и 448 MiB при 8192, а для qwen2.5:0.5b 48 MiB при 4096 и 384 MiB при 32768. Размер головы берётся из attention.key_length, если он есть у модели, а иначе из embedding_length, делённого на head_count. Модели со скользящим окном (sliding window) или со слоями, делящими кэш KV, используют меньше, чем показывает таблица; инструмент говорит об этом, а не гадает. Мы проверили инструмент на реальном выводе /api/show, ollama show и ollama show --verbose для qwen2.5:7b в Ollama 0.40.11, а также на примере из справочника API Ollama.

Основная логика этого инструмента открыта под лицензией MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-show.ts