~/tools / Ein lokales LLM auf dem eigenen Server / Ollama Model Info Reader

Ollama Model Info Reader — ollama show lesen: Kontext, Schichten, Fähigkeiten, Lizenz, KV-Cache

Fügen Sie die /api/show-Antwort eines Ollama-Modells oder die Ausgabe von ollama show oder ollama show --verbose ein und sehen Sie das Modell auf einen Blick: Größe, Quantisierung, die längste unterstützte Kontextlänge, Schichten und Attention-Heads, was es kann (tools, vision, thinking, embedding und mehr), seine Standardparameter, den System-Prompt und die Lizenz. Das Tool berechnet außerdem den KV-Cache für jede Kontextlänge, den Speicher, der mit num_ctx wächst. Nichts verlässt Ihren Browser.

curl http://localhost:11434/api/show -d '{"model": "qwen2.5:7b"}'

ollama show qwen2.5:7b --verbose

You are Qwen, created by Alibaba Cloud. You are a helpful assistant.

Apache License
...

ollama show und der Endpunkt /api/show beschreiben ein installiertes Modell, aber die nützlichsten Angaben sind über eine lange Liste von GGUF-Metadaten verstreut: Die Zahl der Schichten ist <architecture>.block_count, die längste Kontextlänge ist <architecture>.context_length, und die Attention-Heads, die die Größe des KV-Cache bestimmen, sind attention.head_count und attention.head_count_kv. Dieses Tool liest das JSON von /api/show oder den Text von ollama show (die kurze Fassung oder --verbose) und stellt diese Angaben an einer Stelle zusammen. Es listet die Fähigkeiten (capabilities) auf und erklärt, was jede bedeutet, mit den Namen aus dem Quellcode von Ollama (v0.40.15): completion, tools, insert, vision, embedding, thinking, image, audio, decision und speech. Bei Thinking-Modellen zeigt es die Werte, die think akzeptiert, und den Standardwert. Es zeigt die im Modell gesetzten Parameter wie stop, temperature oder num_ctx, den System-Prompt und die Lizenz. Aus den Schichten, den KV-Heads und der Head-Größe berechnet es den KV-Cache bei f16, dem Standardtyp: 2 (Schlüssel und Werte) × Schichten × KV-Heads × Head-Größe × 2 Bytes × Kontextlänge. Wir haben diese Formel mit dem eigenen Log von Ollama verglichen: bei qwen2.5:7b 224 MiB bei 4096 Tokens und 448 MiB bei 8192, bei qwen2.5:0.5b 48 MiB bei 4096 und 384 MiB bei 32768. Die Head-Größe stammt aus attention.key_length, wenn das Modell sie hat, und sonst aus embedding_length geteilt durch head_count. Modelle mit Sliding Window oder mit Schichten, die sich ihren KV-Cache teilen, brauchen weniger, als die Tabelle zeigt; das Tool sagt das, statt zu raten. Wir haben das Tool mit der echten Ausgabe von /api/show, ollama show und ollama show --verbose für qwen2.5:7b unter Ollama 0.40.11 geprüft, außerdem mit dem Beispiel in der API-Referenz von Ollama.

Die Kernlogik dieses Tools ist Open Source unter der MIT-Lizenz. github.com/seigo5555/toolkitbox-lib/src/ollama-show.ts