~/ / Статьи об ИИ / Локальные LLM на VPS / Следим за памятью Ollama на небольшом VPS
Следим за памятью Ollama на небольшом VPS
На маленьком сервере предел задаёт память, а Ollama оставляет модель в памяти после ответа. В этой статье показано, как увидеть, что загружено, как долго это остаётся в памяти, сколько моделей и запросов Ollama обрабатывает одновременно и какие настройки меняют расход памяти. Все значения по умолчанию ниже взяты из официального FAQ.
Опубликовано: · 3 мин чтения · Факты проверены по официальной документации Ollama 2026-10-27. Значения по умолчанию могут меняться между версиями, поэтому сверяйтесь с FAQ той версии, которую вы запускаете.
Что сейчас загружено
В FAQ сказано использовать ollama ps, чтобы увидеть, какие модели сейчас загружены в память. Столбец PROCESSOR показывает, где находится модель.
| PROCESSOR показывает | Что это значит по FAQ |
|---|---|
| 100% GPU | Модель полностью загружена в GPU. |
| 100% CPU | Модель полностью загружена в системную память. |
| 48%/52% CPU/GPU | Модель загружена частично и в GPU, и в системную память. |
На VPS без GPU ожидаемое значение — 100% CPU: модель находится в памяти сервера.
Как долго модель остаётся в памяти
По умолчанию, как сказано в FAQ, модели хранятся в памяти 5 минут, после чего выгружаются. Это можно изменить для всего сервера или для одного запроса.
| Что вы хотите | Как, согласно FAQ |
|---|---|
| Выгрузить модель сейчас | ollama stop llama3.2 |
| Держать модель загруженной | Отправьте keep_alive с отрицательным числом, например -1, в запросе к /api/generate или /api/chat. |
| Выгрузить сразу после ответа | Отправьте keep_alive, равный 0. |
| Другое время | keep_alive принимает также строку с длительностью, например 10m или 24h, или число секунд, например 3600. |
| Задать для всего сервера | Задайте переменную окружения OLLAMA_KEEP_ALIVE при запуске сервера. Она принимает значения тех же видов. keep_alive в запросе имеет приоритет над ней. |
Наше понимание, а не утверждение из документации: если на том же сервере работает что-то ещё, например Dify или чат-интерфейс, загруженная модель удерживает память, которая нужна им. Меньшее время освобождает память раньше, но при следующем запросе модель придётся загружать заново. Сколько это занимает времени, мы не измеряли.
Несколько моделей, несколько запросов
В FAQ описаны три лимита и одно правило. Если новая модель не помещается в доступную память, пока загружены другие модели, новые запросы ставятся в очередь, пока модель не удастся загрузить, а простаивающие модели выгружаются, чтобы освободить место.
В оценщике ниже есть поле для параллельных запросов, так что вы можете увидеть, как более высокое значение влияет на итог.
| Настройка | Что сказано в FAQ |
|---|---|
| OLLAMA_MAX_LOADED_MODELS | Максимальное число моделей, которые могут быть загружены одновременно, при условии что они помещаются в доступную память. По умолчанию это 3, умноженное на число GPU, или 3 при инференсе на CPU. |
| OLLAMA_NUM_PARALLEL | Максимальное число параллельных запросов, которые каждая модель обрабатывает одновременно. По умолчанию 1. Требуемая RAM растёт как OLLAMA_NUM_PARALLEL, умноженное на OLLAMA_CONTEXT_LENGTH. |
| OLLAMA_MAX_QUEUE | Максимальное число запросов, которые Ollama ставит в очередь, когда занята, прежде чем начнёт отклонять новые. По умолчанию 512. Отклонённые запросы получают ошибку 503. |
Попробовать: Local LLM Memory Estimator
Оценка
- Веса модели
- 4.84 GiB
- Кэш KV
- 0.56 GiB
- Запас
- 1.00 GiB
- Итого
- 6.41 GiB (6.88 GB)
- Наименьший распространённый объём памяти, в который помещается
- 8 GiB
Это оценка. Она не включает вычислительные буферы рантайма и предполагает, что у каждого слоя одинаковая форма KV. Измерьте реальный запуск, прежде чем выбирать тариф.
Данные о модели проверены 2026-10-26.
Источники: Ollama library · Конфигурация модели (config.json) · Ollama FAQ
Всё выполняется в вашем браузере. Ничего не загружается.
Настройки, которые меняют расход памяти
| Настройка | Что сказано в FAQ |
|---|---|
| OLLAMA_CONTEXT_LENGTH | По умолчанию Ollama использует контекстное окно в 4096 tokens. Переменная окружения переопределяет это значение, а num_ctx можно задать для сессии или через API. |
| OLLAMA_KV_CACHE_TYPE | Тип квантования для кэша K/V. По умолчанию f16. |
| OLLAMA_FLASH_ATTENTION | Задайте 1 при запуске сервера, чтобы принудительно включить Flash Attention. В FAQ сказано, что Ollama включает его автоматически, когда его поддерживают бэкенд и устройства. |
Переменные окружения сервера задаются в переопределении systemd. Шаги показаны в статье об установке Ollama на VPS. Мы не измеряли, сколько памяти каждая настройка экономит на вашем сервере, поэтому после изменения проверьте результат командой ollama ps.
Источники
Читайте дальше
- Подключаем Dify к Ollama на собственном VPSЗапустите Dify на своём VPS и используйте Ollama как модель: установка, поля плагина, проблема адреса в Docker и эмбеддинги — по официальной документации.
- Локальная LLM без дорогого ПК: руководство для начинающих по работе через VPSНет мощного ПК? Арендуйте VPS и запустите небольшую локальную LLM из браузера: шесть шагов от оценки памяти до защищённого экрана чата, с честным описанием ограничений.
- nginx перед Ollama: базовая аутентификация, HTTPS и настройки потоковой передачиБезопасный доступ к Ollama снаружи: nginx как прокси, базовая аутентификация, HTTPS, настройки потоковой передачи и таймаутов, правило файрвола, по официальной документации.
- Open WebUI на VPS: запуск в Docker и подключение к OllamaЗапуск Open WebUI в Docker и подключение к Ollama на собственном сервере: команды, первая учётная запись, два типа подключения и обновление.