~/tools / Ejecutar un LLM local en tu servidor / Ollama Model Info Reader

Ollama Model Info Reader — Lee ollama show: contexto, capas, capacidades, licencia, caché KV

Pega la respuesta de /api/show de un modelo de Ollama, o la salida de ollama show o ollama show --verbose, y ve el modelo de un vistazo: tamaño, cuantización, la longitud de contexto máxima que admite, capas y cabezas de atención, qué puede hacer (tools, vision, thinking, embeddings y más), sus parámetros por defecto, el system prompt y la licencia. La herramienta también calcula la caché KV para cada longitud de contexto, la memoria que crece con num_ctx. Nada sale de tu navegador.

curl http://localhost:11434/api/show -d '{"model": "qwen2.5:7b"}'

ollama show qwen2.5:7b --verbose

You are Qwen, created by Alibaba Cloud. You are a helpful assistant.

Apache License
...

ollama show y el endpoint /api/show describen un modelo instalado, pero los datos más útiles están repartidos en una larga lista de metadatos GGUF: el número de capas es <architecture>.block_count, la longitud de contexto máxima es <architecture>.context_length, y las cabezas de atención que deciden el tamaño de la caché KV son attention.head_count y attention.head_count_kv. Esta herramienta lee el JSON de /api/show, o el texto de ollama show (la versión corta o --verbose), y reúne esos datos en un solo lugar. Lista las capacidades con lo que significa cada una, usando los nombres del código fuente de Ollama (v0.40.15): completion, tools, insert, vision, embedding, thinking, image, audio, decision y speech. Para los modelos con thinking muestra los valores que acepta think y el valor por defecto. Muestra los parámetros definidos en el modelo, como stop, temperature o num_ctx, el system prompt y la licencia. A partir de las capas, las cabezas KV y el tamaño de cabeza calcula la caché KV en f16, el tipo por defecto: 2 (claves y valores) × capas × cabezas KV × tamaño de cabeza × 2 bytes × longitud de contexto. Comprobamos esta fórmula con el propio log de Ollama: para qwen2.5:7b, 224 MiB con 4096 tokens y 448 MiB con 8192, y para qwen2.5:0.5b, 48 MiB con 4096 y 384 MiB con 32768. El tamaño de cabeza sale de attention.key_length cuando el modelo lo tiene, y si no, de embedding_length dividido entre head_count. Los modelos con ventana deslizante o con capas que comparten su caché KV usan menos de lo que muestra la tabla; la herramienta lo indica en lugar de adivinar. Probamos la herramienta con la salida real de /api/show, ollama show y ollama show --verbose para qwen2.5:7b en Ollama 0.40.11, y con el ejemplo de la referencia de la API de Ollama.

La lógica principal de esta herramienta es de código abierto, con licencia MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-show.ts