toolkitbox

~/ / Статьи об ИИ / Локальные LLM на VPS / ИИ на собственном VPS: сколько памяти закладывать и что не открывать наружу

ИИ на собственном VPS: сколько памяти закладывать и что не открывать наружу

Запускать языковую модель или конструктор ИИ-приложений на арендованном VPS заманчиво: фиксированная ежемесячная плата, а ваши данные остаются на сервере под вашим контролем. Но от выбранного тарифа зависит, запустится ли всё это вообще, а установка по умолчанию может оставить сервис доступным из интернета. В этой статье собрано то, что официальная документация Ollama и Dify говорит о памяти, работе только на CPU и сетевой доступности, чтобы вы могли выбрать тариф до оплаты.

Опубликовано: · 4 мин чтения · Сверено с официальной документацией: 2026-10-26. Версии и значения по умолчанию меняются, поэтому перед установкой проверьте актуальные документы.

Что должно поместиться в память

Размер загрузки модели — это минимальный объём памяти, который ей нужен, а не тот объём, который стоит закладывать. В библиотеке Ollama для каждого тега указан размер загрузки. Например, для Llama 3.2 указано 1.3 GB для тега 1b и 2.0 GB для тега 3b, в обоих случаях с окном контекста 128K.

Помимо самой модели, память растёт вместе с контекстом. В FAQ Ollama сказано, что требуемый объём RAM масштабируется как OLLAMA_NUM_PARALLEL, умноженное на OLLAMA_CONTEXT_LENGTH, и приведён пример: контекст 2K при 4 параллельных запросах превращается в контекст 8K и требует дополнительной памяти. Там же сказано, что квантование кэша ключей и значений в q8_0 использует примерно вдвое меньше памяти, чем f16, а q4_0 — примерно вчетверо меньше.

Тег моделиРазмер загрузкиОкно контекста
llama3.2:1b1.3 GB128K
llama3.2:3b2.0 GB128K
  • В FAQ Ollama в качестве окна контекста по умолчанию указано 4096 токенов, а на странице о длине контекста сказано, что значение по умолчанию зависит от VRAM вашего GPU (4k при объёме менее 24 GiB). Проверьте значение, которое действительно используется в вашей установке.
  • В README Ollama, который мы проверяли, не указаны требования к RAM для каждого размера модели. Вместо догадок лучше измерить: загрузите модель с той длиной контекста, которую собираетесь использовать, отправьте запрос и понаблюдайте за потреблением памяти сервером.
  • Оставьте запас для операционной системы и всех остальных сервисов на том же сервере.

Размеры загрузки взяты со страницы библиотеки Ollama в указанную выше дату. Это размеры файлов, а не измеренное потребление памяти.

Без GPU: что значит работа только на CPU

На большинстве тарифов VPS GPU нет, поэтому модель работает на CPU и в системной памяти. FAQ Ollama описывает этот случай: ollama ps показывает 100% CPU в столбце PROCESSOR, если модель целиком загружена в системную память, а значение OLLAMA_MAX_LOADED_MODELS по умолчанию для вывода на CPU равно 3.

В документах нет данных о скорости при работе только на CPU, и мы её не измеряли. Начните с самой маленькой модели, которая справляется с вашей задачей, и несколько дней тестируйте её, прежде чем заключать контракт на более долгий срок.

Запуск Dify на VPS

Dify можно развернуть самостоятельно с помощью Docker Compose. В его документации перечислены минимальные системные требования; это именно минимумы, а не рекомендации:

  • CPU: 2 ядра или больше
  • RAM: 4 GiB или больше
  • Linux: Docker 19.03 или новее и Docker Compose 2.24.0 или новее
ШагЧто нужно сделать
1Клонируйте репозиторий Dify и перейдите в каталог dify/docker
2Скопируйте .env.example в .env
3Сгенерируйте токен командой openssl rand -base64 32 и укажите его в .env как DIFY_AGENT_LOCAL_SANDBOX_AUTH_TOKEN
4Выполните docker compose up -d
5Проверьте docker compose ps: контейнеры должны иметь статус Up или healthy
6Откройте /install на своём сервере, создайте учётную запись администратора и войдите

На проверенной нами странице Dify нет упоминаний об Ollama или локальных моделях. Если на одном сервере работают и Dify, и локальная модель, закладывайте память для обоих (это наше прочтение двух документов, а не цифра из какого-либо из них).

Что не стоит открывать в интернет

В FAQ Ollama сказано, что по умолчанию Ollama привязывается к 127.0.0.1, порт 11434, а адрес привязки меняется с помощью переменной окружения OLLAMA_HOST. На проверенной нами странице FAQ не описана какая-либо аутентификация для сервера Ollama. Далее изложена наша рекомендация, а не утверждение из документов:

  • Оставьте Ollama на адресе по умолчанию. Если он нужен другой машине, подключайтесь через SSH-туннель, а не меняйте адрес привязки.
  • Если вы всё же привязываете его к сетевому адресу, ограничьте порт в брандмауэре теми адресами, которыми вы пользуетесь, и никогда не открывайте его для всех.
  • Dify доступен по адресу сервера, а учётную запись администратора вы создаёте на странице /install. Сделайте это сразу после запуска контейнеров и поставьте перед ним HTTPS и правило брандмауэра, прежде чем делиться адресом.
  • Храните API-ключи провайдеров моделей в файле .env или в хранилище секретов, и не включайте их ни во что, что вы коммитите.

Свой сервер или API?

VPS стоит одинаково каждый месяц, используете вы его или нет, а API берёт плату за токены, которые вы отправляете и получаете. При небольшом объёме API может оказаться дешевле, чем содержание работающего сервера. При большом объёме и достаточности небольшой модели выигрышнее может быть сервер. Подставьте свой объём и сравните.

Попробовать: LLM API Cost Calculator

Модель A
Модель B (необязательно, для сравнения)
Использование

Оценка стоимости

Введите цены и числа токенов, чтобы увидеть стоимость.

Официальные страницы цен

Это лишь умножает введённые вами числа. Оно не знает цен поставщика, скидок, кэширования, пакетных тарифов, ступенчатых цен и налогов.

Чтобы узнать число входных токенов промпта, используйте Token Counter.

Источники

Читайте дальше