~/tools / Chạy LLM cục bộ trên máy chủ của bạn / Ollama Model Info Reader

Ollama Model Info Reader — Đọc ollama show: ngữ cảnh, số lớp, khả năng, giấy phép, KV cache

Dán phản hồi /api/show của một mô hình Ollama, hoặc đầu ra của ollama show hay ollama show --verbose, và xem tổng quan về mô hình: dung lượng, lượng tử hóa, ngữ cảnh dài nhất mà nó hỗ trợ, số lớp và các attention head, những gì nó làm được (tools, vision, thinking, embeddings và hơn nữa), các tham số mặc định, system prompt và giấy phép. Công cụ cũng tính KV cache cho từng độ dài ngữ cảnh, phần bộ nhớ tăng theo num_ctx. Không có gì rời khỏi trình duyệt của bạn.

curl http://localhost:11434/api/show -d '{"model": "qwen2.5:7b"}'

ollama show qwen2.5:7b --verbose

You are Qwen, created by Alibaba Cloud. You are a helpful assistant.

Apache License
...

ollama show và endpoint /api/show mô tả một mô hình đã cài, nhưng những thông tin hữu ích nhất lại nằm rải rác trong một danh sách dài siêu dữ liệu GGUF: số lớp là <architecture>.block_count, ngữ cảnh dài nhất là <architecture>.context_length, còn các attention head quyết định dung lượng KV cache là attention.head_count và attention.head_count_kv. Công cụ này đọc JSON từ /api/show, hoặc văn bản của ollama show (bản ngắn hoặc --verbose), và gom những thông tin đó vào một chỗ. Nó liệt kê các khả năng kèm ý nghĩa của từng khả năng, dùng đúng tên trong mã nguồn của Ollama (v0.40.15): completion, tools, insert, vision, embedding, thinking, image, audio, decision và speech. Với các mô hình thinking, nó hiển thị những giá trị mà think chấp nhận và giá trị mặc định. Nó hiển thị các tham số được đặt trong mô hình, chẳng hạn stop, temperature hay num_ctx, cùng system prompt và giấy phép. Từ số lớp, số KV head và kích thước head, nó tính KV cache ở f16, kiểu mặc định: 2 (khóa và giá trị) × số lớp × số KV head × kích thước head × 2 byte × độ dài ngữ cảnh. Chúng tôi đã đối chiếu công thức này với log của chính Ollama: với qwen2.5:7b, 224 MiB ở 4096 token và 448 MiB ở 8192, còn với qwen2.5:0.5b, 48 MiB ở 4096 và 384 MiB ở 32768. Kích thước head lấy từ attention.key_length khi mô hình có trường này, nếu không thì lấy embedding_length chia cho head_count. Các mô hình có cửa sổ trượt hoặc có các lớp dùng chung KV cache sẽ dùng ít hơn so với bảng; công cụ nói rõ điều đó thay vì đoán. Chúng tôi đã kiểm tra công cụ với đầu ra thật của /api/show, ollama show và ollama show --verbose cho qwen2.5:7b trên Ollama 0.40.11, và với ví dụ trong tài liệu tham chiếu API của Ollama.

Phần xử lý chính của công cụ này là mã nguồn mở theo giấy phép MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-show.ts