~/tools / Local LLM Memory Estimator

Local LLM Memory Estimator — Оценка памяти для локальной LLM: файл модели плюс кэш KV

Оцените, сколько памяти нужно локальной LLM на VPS или на вашем компьютере: файл модели плюс кэш KV для вашей длины контекста и числа параллельных запросов. Пресеты используют официальные размеры загрузки и конфигурации моделей Qwen3 и Mistral 7B. Данные не покидают ваш браузер.

Локальной языковой модели нужна память для двух вещей. Первая — сама модель, по размеру примерно равная файлу для загрузки. Вторая — кэш KV, который растёт вместе с длиной контекста и числом запросов, обрабатываемых сервером одновременно. В Ollama FAQ сказано, что требуемая RAM масштабируется как OLLAMA_NUM_PARALLEL, умноженное на OLLAMA_CONTEXT_LENGTH, а квантование кэша в q8_0 использует примерно половину памяти по сравнению с f16, а q4_0 — около четверти. Этот инструмент складывает обе части за вас. Он берёт размер файла из Ollama library, а число слоёв, KV heads и размерность головы — из официального конфигурационного файла каждой модели, и считает кэш как 2 × слои × KV heads × размерность головы × длина контекста × параллельные запросы × байт на значение. Затем он добавляет запас для операционной системы и других сервисов, показывает итог в GiB и GB, называет наименьший распространённый объём памяти, в который он помещается, и сообщает, подходит ли он для тарифа VPS, который вы вводите. Результат — оценка, а не измерение: он не включает собственные вычислительные буферы рантайма, а реальный сервер следует измерить, прежде чем выбирать тариф. Данные о моделях проверены в день, указанный под инструментом.