~/tools / Lokalny LLM na własnym serwerze / Ollama Model Info Reader

Ollama Model Info Reader — Odczytaj ollama show: kontekst, warstwy, możliwości, licencja, KV cache

Wklej odpowiedź /api/show modelu Ollama albo wynik ollama show lub ollama show --verbose i zobacz model w skrócie: rozmiar, kwantyzację, najdłuższy obsługiwany kontekst, warstwy i głowice uwagi, co model potrafi (tools, vision, thinking, embedding i więcej), jego domyślne parametry, system prompt i licencję. Narzędzie oblicza też KV cache dla każdej długości kontekstu, czyli pamięć, która rośnie wraz z num_ctx. Nic nie opuszcza Twojej przeglądarki.

Jak to uzyskać

Zastąp qwen2.5:7b swoim modelem. Obie metody działają, gdy Ollama jest uruchomiona.

curl http://localhost:11434/api/show -d '{"model": "qwen2.5:7b"}'

ollama show qwen2.5:7b --verbose

Odczytano jako odpowiedź /api/show.

  • Rozmiaru głowicy nie ma w metadanych, więc jest obliczany jako embedding_length ÷ head_count = 128.

Model

Nazwa
Qwen2.5 7B Instruct
Architektura
qwen2
Parametry
7.62B
Kwantyzacja
Q4_K_M
Najdłuższy kontekst
32768
Warstwy
28
Głowice uwagi
28 (KV: 4)
Rozmiar głowicy
128
Długość embeddingu
3584
Źródło szablonu
go_template

Możliwości

  • completionGeneruje tekst przez /api/generate i /api/chat.
  • toolsPrzyjmuje tools, więc może wywoływać funkcje.

KV cache wg długości kontekstu

Dla f16, domyślnego typu. Ta pamięć jest potrzebna oprócz wag.

Kontekst (tokeny)KV cache
2048112 MiB
4096wartość domyślna z Ollama FAQ224 MiB
8192448 MiB
16384896 MiB
32768najdłuższy obsługiwany1792 MiB

Dodaj wagi w Local LLM Memory Estimator →

System prompt

You are Qwen, created by Alibaba Cloud. You are a helpful assistant.

Licencja

general.license
apache-2.0
general.license.link
https://huggingface.co/Qwen/Qwen2.5-7B-Instruct/blob/main/LICENSE
Apache License
...

KV cache = 2 × warstwy × głowice KV × rozmiar głowicy × 2 bajty (f16) × długość kontekstu. Wartości zgadzały się z logiem Ollamy w naszych testach. Ollama FAQ podaje, że q8_0 zajmuje około połowy, a q4_0 około jednej czwartej f16 (ustawiane przez OLLAMA_KV_CACHE_TYPE, z Flash Attention).

Najdłuższy kontekst to to, co model obsługuje, a nie to, czego używa Ollama. Ollama FAQ podaje 4096 tokenów jako wartość domyślną; zmienia ją num_ctx w zapytaniu lub w modelu albo OLLAMA_CONTEXT_LENGTH na serwerze.

Pola z dokumentacji API i kodu źródłowego Ollamy (v0.40.15), sprawdzone w Ollamie 0.40.11 dnia 2026-11-07. Ollama: Show model details

Wszystko dzieje się w Twojej przeglądarce. Narzędzie z niczym się nie łączy.

ollama show i endpoint /api/show opisują zainstalowany model, ale najprzydatniejsze informacje są rozsiane po długiej liście metadanych GGUF: liczba warstw to <architecture>.block_count, najdłuższy kontekst to <architecture>.context_length, a głowice uwagi, które decydują o rozmiarze KV cache, to attention.head_count i attention.head_count_kv. To narzędzie czyta JSON z /api/show albo tekst ollama show (wersję krótką lub --verbose) i zbiera te informacje w jednym miejscu. Wymienia możliwości (capabilities) wraz z wyjaśnieniem każdej, używając nazw z kodu źródłowego Ollamy (v0.40.15): completion, tools, insert, vision, embedding, thinking, image, audio, decision i speech. Dla modeli z thinking pokazuje wartości, które przyjmuje think, oraz wartość domyślną. Pokazuje parametry ustawione w modelu, takie jak stop, temperature czy num_ctx, system prompt i licencję. Z liczby warstw, głowic KV i rozmiaru głowicy oblicza KV cache dla f16, domyślnego typu: 2 (klucze i wartości) × warstwy × głowice KV × rozmiar głowicy × 2 bajty × długość kontekstu. Sprawdziliśmy ten wzór z logiem samej Ollamy: dla qwen2.5:7b 224 MiB przy 4096 tokenach i 448 MiB przy 8192, a dla qwen2.5:0.5b 48 MiB przy 4096 i 384 MiB przy 32768. Rozmiar głowicy pochodzi z attention.key_length, jeśli model go ma, a w przeciwnym razie z embedding_length podzielonego przez head_count. Modele z przesuwanym oknem (sliding window) albo z warstwami współdzielącymi KV cache zużywają mniej, niż pokazuje tabela; narzędzie mówi o tym zamiast zgadywać. Sprawdziliśmy narzędzie na prawdziwych wynikach /api/show, ollama show i ollama show --verbose dla qwen2.5:7b w Ollamie 0.40.11 oraz na przykładzie z dokumentacji API Ollamy.

Główna logika tego narzędzia jest otwartoźródłowa, na licencji MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-show.ts

Zastosowania

  • Sprawdź, czy model obsługuje tools, obrazy lub thinking, zanim zaczniesz na nim budować
  • Zobacz najdłuższy kontekst obsługiwany przez model i ile pamięci potrzebuje KV cache przy każdej długości
  • Sprawdź licencję, domyślne parametry i system prompt dołączone do modelu

Jak używać

  1. Uruchom curl http://localhost:11434/api/show z nazwą modelu albo ollama show z --verbose.
  2. Wklej wynik. Narzędzie rozpozna, która z trzech postaci to jest.
  3. Przeczytaj podsumowanie modelu, możliwości i tabelę KV cache. Otwórz estymator pamięci, aby dodać wagi.

FAQ

Dlaczego dla mojego wklejonego tekstu nie widać KV cache?

Krótki wynik ollama show nie zawiera warstw ani głowic uwagi. Wklej odpowiedź /api/show lub wynik ollama show --verbose.

Model obsługuje 32768 tokenów. Dlaczego Ollama używa mniej?

Długość kontekstu w metadanych to najdłuższy kontekst, na jakim model był trenowany. Ollama FAQ podaje 4096 tokenów jako domyślne okno kontekstu; kod źródłowy i log serwera Ollamy pokazują, że serwer wybiera wartość domyślną zależnie od pamięci GPU. Zapytanie może ustawić num_ctx, model może ustawić je w swoich parametrach, a serwer może ustawić OLLAMA_CONTEXT_LENGTH.

Jak dokładny jest rozmiar KV cache?

Dla modeli bez przesuwanego okna i bez współdzielonych warstw KV wzór dał w naszych testach dokładnie takie rozmiary, jak w logu Ollamy (224 MiB dla qwen2.5:7b przy 4096 tokenach). Dotyczy domyślnego typu f16; Ollama FAQ podaje, że q8_0 zajmuje około połowy, a q4_0 około jednej czwartej, gdy włączone jest Flash Attention.

Jaka jest różnica między parametrami a długością kontekstu?

Długość kontekstu pochodzi z pliku modelu i jest maksimum. Parametry takie jak num_ctx, temperature czy stop to wartości domyślne ustawione w Modelfile modelu; zapytania mogą je nadpisać.

Co oznacza źródło szablonu?

Mówi, skąd pochodzi prompt czatu, na przykład go_template dla szablonu Go w modelu albo renderer dla renderera wbudowanego w Ollamę. Wartości są wymienione w dokumentacji API Ollamy.

Czy moje dane są dokądś wysyłane?

Nie. Wynik jest czytany w Twojej przeglądarce.

Powiązane artykuły

Powiązane