~/tools / Файлы моделей и шаблоны чата / Safetensors Metadata Viewer

Safetensors Metadata Viewer — Откройте файлы safetensors: dtype, параметры, размер весов, кэш KV

Откройте файлы safetensors модели с Hugging Face в браузере и посмотрите, что внутри, не загружая веса: каждый тензор с его типом данных и формой, число параметров, размер весов и __metadata__. Для модели, разбитой на несколько файлов, добавьте model.safetensors.index.json, чтобы найти отсутствующие или неполные файлы, и config.json, чтобы увидеть архитектуру, длину контекста и кэш KV. Инструмент проверяет каждый файл так же, как официальная библиотека safetensors. Читается только начало каждого файла, и ничего не загружается на сервер.

safetensors — это формат файлов, который Hugging Face использует для весов моделей. Файл safetensors начинается с 8 байт, задающих длину заголовка JSON. Заголовок перечисляет каждый тензор с его типом данных (dtype), формой (shape) и положением (data_offsets) и может содержать словарь строк __metadata__, например {"format": "pt"}. Затем идут веса. Этот инструмент читает только этот заголовок по формату, описанному в репозитории safetensors, поэтому файл размером в несколько гигабайт открывается мгновенно: в Qwen2.5-7B-Instruct каждый заголовок занимает от 7 до 11 KiB, в файлах размером от 3.3 до 3.7 GiB. Он считает параметры так же, как Hugging Face Hub (произведение формы каждого тензора, суммируется по каждому типу данных), складывает размер весов и проверяет то, что проверяет официальная библиотека safetensors: длину заголовка, JSON, типы данных, заполняют ли тензоры данные без пропусков и перекрытий, соответствует ли размер каждого тензора его типу и форме и заканчивается ли файл сразу после последнего тензора. К модели, разбитой на несколько файлов, прилагается model.safetensors.index.json, где сказано, в каком файле лежит каждый тензор. Выберите файлы вместе, и инструмент перечислит отсутствующие файлы, тензоры, которых нет там, где указывает индекс, и скажет, совпадает ли общий размер. Добавьте config.json, и он покажет архитектуру, длину контекста, слои и головы внимания, а также кэш KV при f16, типе по умолчанию в Ollama: 2 × слои × головы KV × размер головы × 2 байта × длина контекста. Мы проверили инструмент на заголовках Qwen2.5-7B-Instruct (4 файла) и Qwen2.5-0.5B-Instruct с Hugging Face: числа параметров совпали с теми, что сообщает Hub (7,615,616,512 и 494,032,768), а размер, вычисленный по каждому заголовку, совпал с размером файла до байта. Мы также открыли 52 корректных и повреждённых файла официальным пакетом Python safetensors 0.8.0, и инструмент принимает и отвергает те же файлы.

Основная логика этого инструмента открыта под лицензией MIT. github.com/seigo5555/toolkitbox-lib/src/safetensors.ts