~/ / Статьи об ИИ / Локальные LLM на VPS
Статьи о запуске языковых моделей на собственном сервере: нужная память, установка, настройки и то, что умеет каждая модель. Написаны только по официальной документации Ollama и разработчиков моделей.
Запуск Open WebUI в Docker и подключение к Ollama на собственном сервере: команды, первая учётная запись, два типа подключения и обновление.
Опубликовано: Доступные инструменты: Local LLM Memory Estimator
Ограничьте вывод локальной модели с помощью JSON Schema и обращайтесь к Ollama из клиентов в стиле OpenAI: что говорит официальная документация и что не поддерживается.
Опубликовано: Доступные инструменты: JSON Schema Validator, LLM JSON Repair
tools, thinking, vision, embedding: что означают метки в библиотеке Ollama, у каких моделей они есть и насколько велики загрузки.
Опубликовано: Доступные инструменты: Local LLM Memory Estimator
Установка Ollama на Linux VPS и поддержание её работы: команда установки, служба systemd, переменные окружения, хранилище моделей и обновления по официальной документации.
Опубликовано: Доступные инструменты: Local LLM Memory Estimator
Файл модели плюс KV-кэш: что библиотека Ollama, FAQ Ollama и официальные конфигурации моделей говорят о памяти, которая нужна локальной LLM на VPS.
Опубликовано: Доступные инструменты: Local LLM Memory Estimator
Собираетесь запускать Ollama или Dify на VPS? Что говорит официальная документация о памяти, работе только на CPU и портах, которые нужно держать закрытыми.
Опубликовано: Доступные инструменты: LLM API Cost Calculator