~/tools / Yerel LLM'i kendi sunucunuzda çalıştırın / Ollama Model Info Reader

Ollama Model Info Reader — ollama show okuyun: bağlam, katmanlar, yetenekler, lisans, KV önbelleği

Bir Ollama modelinin /api/show yanıtını ya da ollama show veya ollama show --verbose çıktısını yapıştırın ve modeli tek bakışta görün: boyut, nicemleme (quantization), desteklediği en uzun bağlam, katmanlar ve dikkat başlıkları, neler yapabildiği (tools, vision, thinking, embedding ve daha fazlası), varsayılan parametreleri, sistem istemi ve lisansı. Araç ayrıca her bağlam uzunluğu için KV önbelleğini, yani num_ctx ile büyüyen belleği hesaplar. Hiçbir veri tarayıcınızdan çıkmaz.

curl http://localhost:11434/api/show -d '{"model": "qwen2.5:7b"}'

ollama show qwen2.5:7b --verbose

You are Qwen, created by Alibaba Cloud. You are a helpful assistant.

Apache License
...

ollama show ve /api/show uç noktası kurulu bir modeli tanımlar, ancak en yararlı bilgiler uzun bir GGUF meta verisi listesine dağılmıştır: katman sayısı <architecture>.block_count, en uzun bağlam <architecture>.context_length, KV önbelleğinin boyutunu belirleyen dikkat başlıkları ise attention.head_count ve attention.head_count_kv değerleridir. Bu araç /api/show çıktısındaki JSON'u ya da ollama show metnini (kısa hali veya --verbose) okur ve bu bilgileri tek bir yerde toplar. Yetenekleri (capabilities) her birinin ne anlama geldiğiyle birlikte listeler; Ollama'nın kaynak kodundaki (v0.40.15) adları kullanır: completion, tools, insert, vision, embedding, thinking, image, audio, decision ve speech. Thinking modelleri için think parametresinin kabul ettiği değerleri ve varsayılanı gösterir. Modelde ayarlanmış stop, temperature veya num_ctx gibi parametreleri, sistem istemini ve lisansı gösterir. Katmanlardan, KV başlıklarından ve baş boyutundan varsayılan tür olan f16 için KV önbelleğini hesaplar: 2 (anahtarlar ve değerler) × katmanlar × KV başlıkları × baş boyutu × 2 bayt × bağlam uzunluğu. Bu formülü Ollama'nın kendi günlüğüyle karşılaştırdık: qwen2.5:7b için 4096 token'da 224 MiB ve 8192'de 448 MiB, qwen2.5:0.5b için 4096'da 48 MiB ve 32768'de 384 MiB. Baş boyutu, modelde varsa attention.key_length değerinden, yoksa embedding_length değerinin head_count değerine bölünmesiyle bulunur. Kayan pencere (sliding window) kullanan ya da KV önbelleğini paylaşan katmanlara sahip modeller tablodakinden daha azını kullanır; araç tahmin yürütmek yerine bunu söyler. Aracı, Ollama 0.40.11 üzerinde qwen2.5:7b için /api/show, ollama show ve ollama show --verbose çıktılarının gerçek örnekleriyle ve Ollama'nın API başvurusundaki örnekle denedik.

Bu aracın temel mantığı MIT lisansıyla açık kaynaktır. github.com/seigo5555/toolkitbox-lib/src/ollama-show.ts