~/tools / File di modello e chat template / GGUF Metadata Viewer
GGUF Metadata Viewer — Apri un file GGUF: quantizzazione, contesto, tokenizer, tensori, cache KV
Apri un file di modello GGUF nel browser e guarda cosa contiene senza caricarlo: architettura, quantizzazione, numero di parametri, il contesto più lungo, layer e attention head, il tokenizer e i suoi token speciali, il template di chat, ogni voce dei metadati e ogni tensore. Lo strumento calcola anche la cache KV per ogni lunghezza di contesto e controlla il file come fa llama.cpp, così puoi accorgerti di un download incompleto prima di importarlo in Ollama. Viene letto solo l'inizio del file e non viene caricato nulla.
Oppure trascina qui un file. Viene letto solo l'inizio del file, che resta sul tuo computer. Nel nostro test, anche il file dei pesi che Ollama conserva nella cartella models/blobs era un file GGUF.
Cache KV = 2 × layer × head KV × dimensione della head × 2 byte (f16) × lunghezza del contesto. Per qwen2.5:7b dà 224 MiB a 4096 token, la dimensione nel log di Ollama nel nostro test.
I pesi sono i dati dei tensori conservati nel file; insieme all'intestazione formano il file. Eseguire il modello richiede anche la cache KV e la memoria di lavoro, che lo stimatore di memoria aggiunge.
Verificato il 2026-11-08 con la specifica GGUF e il lettore di llama.cpp, e con il file reale di qwen2.5:7b: i suoi metadati e i suoi 339 tensori corrispondevano a quanto riporta Ollama 0.40.11. Specifica GGUF · Ollama: importare un modello
Il file viene letto nel tuo browser e non viene caricato. Viene letto solo l'inizio.
GGUF è il formato di file che llama.cpp e Ollama usano per i modelli. Un file GGUF inizia con un'intestazione: la versione del formato, un elenco di voci di metadati (come general.architecture, <architecture>.context_length, tokenizer.ggml.tokens e tokenizer.chat_template) e un elenco di tensori con nomi, forme, tipi e posizioni. I pesi vengono dopo. Questo strumento legge solo quell'intestazione, usando la struttura della specifica GGUF nel repository di ggml, quindi un file di diversi gigabyte si apre in un attimo: per qwen2.5:7b l'intestazione è di 5.7 MiB su un file di 4.36 GiB. Dall'intestazione mostra il nome, l'architettura e la quantizzazione del modello (general.file_type), conta i parametri dalle forme dei tensori e somma la dimensione dei pesi per ogni tipo di tensore, usando le dimensioni dei blocchi di gguf-py di llama.cpp. Mostra la forma del modello (layer, attention head, head KV, dimensione della head, impostazioni RoPE, esperti), il tokenizer con i token di inizio e di fine testo, e il template di chat. Da layer, head KV e dimensione della head calcola la cache KV in f16, il valore predefinito di Ollama: 2 (chiavi e valori) × layer × head KV × dimensione della head × 2 byte × lunghezza del contesto. Controlla inoltre ciò che controlla il lettore di llama.cpp (gguf.cpp), come la versione del formato, l'ordine dei byte, chiavi e nomi di tensore duplicati, l'allineamento, i tipi di tensore e la posizione di ciascun tensore, e confronta la dimensione descritta dall'intestazione con quella del file. Abbiamo verificato lo strumento con il file reale di qwen2.5:7b che Ollama 0.40.11 conserva: i metadati, i 339 tensori (nomi, tipi e forme) e il numero di parametri corrispondevano a quanto riporta /api/show di Ollama, e la dimensione calcolata dall'intestazione corrispondeva a quella del file al byte.
La logica principale di questo strumento è open source, con licenza MIT. github.com/seigo5555/toolkitbox-lib/src/gguf.ts
Casi d'uso
- Controllare un GGUF scaricato da Hugging Face prima di importarlo in Ollama: quantizzazione, lunghezza del contesto, template di chat e se il download è completo
- Vedere quanta memoria servono i pesi e la cache KV di un modello, partendo dal file stesso
- Guardare i metadati e i tensori di un modello che Ollama ha già, aprendo il suo file nella cartella models/blobs di Ollama
Utilizzo
- Scegli un file .gguf o trascinalo nella casella. Per guardare un modello che Ollama ha, ollama show --modelfile <model> stampa il percorso del suo file dopo FROM.
- Lo strumento legge l'inizio del file e mostra il modello, la sua forma, la cache KV, i pesi per tipo e il tokenizer.
- Apri "Tutti i metadati" o "Tutti i tensori" per gli elenchi completi. Per un file che non è ancora in Ollama, lo strumento mostra la riga del Modelfile per importarlo.
FAQ
Il file viene caricato?
No. Il browser legge il file sul tuo computer, e lo strumento ne legge solo l'inizio: l'intestazione con i metadati e l'elenco dei tensori. I pesi non vengono letti.
Perché lo strumento dice che il file è più corto di quanto indica l'intestazione?
L'intestazione elenca ogni tensore con la sua dimensione e la sua posizione, quindi indica quanto deve essere grande il file. Se il file è più corto, manca una parte dei pesi, per esempio perché un download o una copia si è fermato prima della fine. llama.cpp si ferma con "model is corrupted or incomplete" davanti a un file così.
Che differenza c'è tra general.file_type e i tipi di tensore?
general.file_type indica la quantizzazione principale del file, come Q4_K_M. Un file mescola tipi: in qwen2.5:7b Q4_K_M, la maggior parte dei tensori è Q4_K, alcuni sono Q6_K e quelli piccoli, come i pesi di normalizzazione, sono F32. La tabella dei pesi per tipo mostra la miscela.
Posso aprire i file dei modelli che Ollama ha già scaricato?
Sì. Ollama conserva i pesi di un modello nella sua cartella models/blobs, in un file chiamato sha256-…. Nel nostro test, ollama show --modelfile qwen2.5:7b ha stampato il percorso di quel file dopo FROM, ed era un file GGUF.
Come importo un GGUF in Ollama?
La guida all'importazione di Ollama usa un Modelfile con FROM /path/to/file.gguf e poi ollama create. Per un modello diviso in più file, mantieni i nomi originali e usa un carattere jolly che corrisponda a tutte le parti. Ollama non quantizza i modelli GGUF durante l'importazione.
Quanto è precisa la dimensione della cache KV?
La formula corrispondeva al log di Ollama nel nostro test (224 MiB per qwen2.5:7b a 4096 token). Vale per f16, il valore predefinito di Ollama. I modelli con finestra scorrevole, cache KV condivisa o compressa, o layer ricorrenti usano una quantità diversa; lo strumento lo segnala quando i metadati lo mostrano.