~/tools / Eseguire un LLM locale sul tuo server / Ollama Model Info Reader
Ollama Model Info Reader — Leggi ollama show: contesto, layer, capacità, licenza, cache KV
Incolla la risposta di /api/show di un modello Ollama, o l'output di ollama show o ollama show --verbose, e guarda il modello a colpo d'occhio: dimensione, quantizzazione, il contesto più lungo che supporta, layer e attention head, cosa sa fare (tools, vision, thinking, embeddings e altro), i parametri predefiniti, il system prompt e la licenza. Lo strumento calcola anche la cache KV per ogni lunghezza di contesto, la memoria che cresce con num_ctx. Niente esce dal tuo browser.
Come ottenerlo
Sostituisci qwen2.5:7b con il tuo modello. Funzionano entrambi mentre Ollama è in esecuzione.
curl http://localhost:11434/api/show -d '{"model": "qwen2.5:7b"}'
ollama show qwen2.5:7b --verboseLetto come una risposta di /api/show.
- La dimensione della head non è nei metadati, quindi viene calcolata come embedding_length ÷ head_count = 128.
Modello
- Nome
- Qwen2.5 7B Instruct
- Architettura
- qwen2
- Parametri
- 7.62B
- Quantizzazione
- Q4_K_M
- Contesto più lungo
- 32768
- Layer
- 28
- Attention head
- 28 (KV: 4)
- Dimensione della head
- 128
- Lunghezza dell'embedding
- 3584
- Origine del template
- go_template
Capacità
- completionGenera testo con /api/generate e /api/chat.
- toolsAccetta tools, quindi può chiamare funzioni.
Cache KV per lunghezza di contesto
In f16, il tipo predefinito. Questa memoria si aggiunge a quella dei pesi.
| Contesto (token) | Cache KV |
|---|---|
| 2048 | 112 MiB |
| 4096il valore predefinito nelle FAQ di Ollama | 224 MiB |
| 8192 | 448 MiB |
| 16384 | 896 MiB |
| 32768massimo supportato | 1792 MiB |
System prompt
You are Qwen, created by Alibaba Cloud. You are a helpful assistant.
Licenza
- general.license
- apache-2.0
- general.license.link
- https://huggingface.co/Qwen/Qwen2.5-7B-Instruct/blob/main/LICENSE
Apache License ...
Cache KV = 2 × layer × head KV × dimensione della head × 2 byte (f16) × lunghezza del contesto. I valori corrispondevano al log di Ollama nei nostri test. Le FAQ di Ollama dicono che q8_0 ne usa circa la metà e q4_0 circa un quarto di f16 (si imposta con OLLAMA_KV_CACHE_TYPE, con Flash Attention).
Il contesto più lungo è ciò che il modello supporta, non ciò che Ollama usa. Le FAQ di Ollama indicano 4096 token come valore predefinito; num_ctx in una richiesta o nel modello, oppure OLLAMA_CONTEXT_LENGTH sul server, lo cambia.
Campi dal riferimento API e dal codice sorgente di Ollama (v0.40.15), verificati con Ollama 0.40.11 il 2026-11-07. Ollama: Show model details
Tutto avviene nel tuo browser. Lo strumento non si connette a nulla.
ollama show e l'endpoint /api/show descrivono un modello installato, ma i dati più utili sono sparsi in una lunga lista di metadati GGUF: il numero di layer è <architecture>.block_count, il contesto più lungo è <architecture>.context_length, e le attention head che decidono la dimensione della cache KV sono attention.head_count e attention.head_count_kv. Questo strumento legge il JSON di /api/show, o il testo di ollama show (la versione breve o --verbose), e riunisce questi dati in un unico posto. Elenca le capacità con il significato di ciascuna, usando i nomi del codice sorgente di Ollama (v0.40.15): completion, tools, insert, vision, embedding, thinking, image, audio, decision e speech. Per i modelli con thinking mostra i valori che think accetta e quello predefinito. Mostra i parametri impostati nel modello, come stop, temperature o num_ctx, il system prompt e la licenza. Da layer, head KV e dimensione della head calcola la cache KV in f16, il tipo predefinito: 2 (chiavi e valori) × layer × head KV × dimensione della head × 2 byte × lunghezza del contesto. Abbiamo verificato questa formula con il log di Ollama stesso: per qwen2.5:7b, 224 MiB a 4096 token e 448 MiB a 8192, e per qwen2.5:0.5b, 48 MiB a 4096 e 384 MiB a 32768. La dimensione della head viene da attention.key_length quando il modello ce l'ha, altrimenti da embedding_length diviso head_count. I modelli con finestra scorrevole o con layer che condividono la cache KV ne usano meno di quanto mostra la tabella; lo strumento lo segnala invece di indovinare. Abbiamo provato lo strumento con l'output reale di /api/show, ollama show e ollama show --verbose per qwen2.5:7b su Ollama 0.40.11, e con l'esempio del riferimento API di Ollama.
La logica principale di questo strumento è open source, con licenza MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-show.ts
Casi d'uso
- Scoprire se un modello supporta tools, immagini o thinking prima di costruirci sopra
- Vedere il contesto più lungo che un modello supporta e quanta memoria serve alla cache KV a ogni lunghezza
- Controllare la licenza, i parametri predefiniti e il system prompt che arrivano con un modello
Utilizzo
- Esegui curl http://localhost:11434/api/show con il nome del modello, oppure ollama show con --verbose.
- Incolla l'output. Lo strumento riconosce quale delle tre forme è.
- Leggi il riepilogo del modello, le capacità e la tabella della cache KV. Apri lo stimatore di memoria per aggiungere i pesi.
FAQ
Perché la cache KV non viene mostrata per ciò che ho incollato?
L'output breve di ollama show non include i layer né le attention head. Incolla la risposta di /api/show o l'output di ollama show --verbose.
Il modello supporta 32768 token. Perché Ollama ne usa meno?
La lunghezza del contesto nei metadati è la più lunga per cui il modello è stato addestrato. Le FAQ di Ollama dicono che la finestra di contesto predefinita è di 4096 token; il codice sorgente e il log del server di Ollama mostrano che il server sceglie un valore predefinito in base alla memoria della GPU. Una richiesta può impostare num_ctx, il modello può impostarlo nei suoi parametri e il server può impostare OLLAMA_CONTEXT_LENGTH.
Quanto è precisa la dimensione della cache KV?
Per i modelli senza finestra scorrevole né layer KV condivisi, la formula ha dato esattamente le dimensioni del log di Ollama nei nostri test (224 MiB per qwen2.5:7b a 4096 token). Vale per il tipo predefinito f16; le FAQ di Ollama dicono che q8_0 ne usa circa la metà e q4_0 circa un quarto, con Flash Attention attivo.
Che differenza c'è tra i parametri e la lunghezza del contesto?
La lunghezza del contesto viene dal file del modello ed è il massimo. Parametri come num_ctx, temperature o stop sono valori predefiniti impostati nel Modelfile del modello; le richieste possono sostituirli.
Cosa significa l'origine del template?
Indica da dove viene il prompt di chat, per esempio go_template per un template Go dentro il modello o renderer per un renderer integrato in Ollama. I valori sono elencati nel riferimento API di Ollama.
I miei dati vengono inviati da qualche parte?
No. L'output viene letto nel tuo browser.
Articoli correlati
- Tenere d'occhio la memoria di Ollama su una piccola VPSScopri cosa Ollama tiene in memoria, per quanto tempo e quali impostazioni lo cambiano: ollama ps, keep_alive e i limiti, dalle FAQ ufficiali.
- Collegare Dify a Ollama sul proprio VPSEsegui Dify sul tuo VPS e usa Ollama come modello: installazione, campi del plugin, il problema dell'indirizzo in Docker e gli embedding, dalla documentazione ufficiale.
- Avviare un LLM locale senza un PC costoso: guida per principianti all'uso di una VPSNon hai un PC potente? Affitta una VPS ed esegui un piccolo LLM locale dal browser: sei passaggi, dalla stima della memoria a una chat protetta, con i limiti dichiarati con onestà.