~/tools / Faire tourner un LLM local sur votre serveur / Ollama Model Info Reader

Ollama Model Info Reader — Lisez ollama show : contexte, couches, capacités, licence, KV cache

Collez la réponse de /api/show d'un modèle Ollama, ou la sortie de ollama show ou ollama show --verbose, et voyez le modèle d'un coup d'œil : taille, quantification, le contexte le plus long qu'il gère, couches et têtes d'attention, ce qu'il sait faire (tools, vision, thinking, embeddings et plus), ses paramètres par défaut, son system prompt et sa licence. L'outil calcule aussi le KV cache pour chaque longueur de contexte, la mémoire qui grandit avec num_ctx. Rien ne quitte votre navigateur.

curl http://localhost:11434/api/show -d '{"model": "qwen2.5:7b"}'

ollama show qwen2.5:7b --verbose

You are Qwen, created by Alibaba Cloud. You are a helpful assistant.

Apache License
...

ollama show et l'endpoint /api/show décrivent un modèle installé, mais les informations les plus utiles sont dispersées dans une longue liste de métadonnées GGUF : le nombre de couches est <architecture>.block_count, le contexte le plus long est <architecture>.context_length, et les têtes d'attention qui déterminent la taille du KV cache sont attention.head_count et attention.head_count_kv. Cet outil lit le JSON de /api/show, ou le texte de ollama show (la version courte ou --verbose), et réunit ces informations au même endroit. Il liste les capacités avec le sens de chacune, en utilisant les noms du code source d'Ollama (v0.40.15) : completion, tools, insert, vision, embedding, thinking, image, audio, decision et speech. Pour les modèles à thinking, il montre les valeurs que think accepte et la valeur par défaut. Il montre les paramètres définis dans le modèle, comme stop, temperature ou num_ctx, le system prompt et la licence. À partir des couches, des têtes KV et de la taille de tête, il calcule le KV cache en f16, le type par défaut : 2 (clés et valeurs) × couches × têtes KV × taille de tête × 2 octets × longueur de contexte. Nous avons vérifié cette formule avec le log d'Ollama lui-même : pour qwen2.5:7b, 224 MiB à 4096 tokens et 448 MiB à 8192, et pour qwen2.5:0.5b, 48 MiB à 4096 et 384 MiB à 32768. La taille de tête vient de attention.key_length quand le modèle l'a, et sinon de embedding_length divisé par head_count. Les modèles à fenêtre glissante ou dont des couches partagent leur KV cache en utilisent moins que ce que montre le tableau ; l'outil le signale au lieu de deviner. Nous avons testé l'outil avec la sortie réelle de /api/show, ollama show et ollama show --verbose pour qwen2.5:7b sur Ollama 0.40.11, et avec l'exemple de la référence de l'API d'Ollama.

Le cœur de cet outil est open source, sous licence MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-show.ts