Следим за памятью Ollama на небольшом VPS
Что Ollama держит в памяти, как долго и какие настройки это меняют: ollama ps, keep_alive и лимиты по официальному FAQ.
Опубликовано: Доступные инструменты: Local LLM Memory Estimator
~/ / Локальная LLM на своём сервере
Локальная LLM на своём сервере
Инструменты для запуска Ollama на собственном компьютере или VPS в том порядке, в котором они нужны. Оцените память, необходимую модели, поддерживайте работу сервера через systemd, безопасно опубликуйте его за nginx и вызывайте его API. Если что-то не работает, изучите его ответы, сведения о модели и журнал сервера.
Инструменты в порядке использования
- Оценка памяти для локальной LLM: файл модели плюс кэш KVLocal LLM Memory EstimatorОцените память, нужную локальной LLM на VPS: файл модели плюс кэш KV
- Соберите override для systemd с настройками Ollama: OLLAMA_HOST, OLLAMA_MODELS, KEEP_ALIVE и другоеOllama systemd Override GeneratorСоберите override для systemd с переменными окружения Ollama, заключёнными в кавычки так, как их читает systemd
- Соберите конфигурацию nginx для Ollama: HTTPS, базовая аутентификация, список адресов, потоковая передачаOllama nginx Config GeneratorСоберите блок server для nginx для Ollama с HTTPS, паролем и потоковой передачей
- Соберите запрос curl к /api/chat Ollama: format, tools, think, optionsOllama API Request BuilderСоберите запрос curl к /api/chat Ollama с format, tools, think и options
- Преобразование запросов и ответов чата между Ollama /api/chat и /v1/chat/completionsOllama OpenAI ConverterПреобразование запросов и ответов чата между Ollama /api/chat и /v1/chat/completions
- Соберите потоковый ответ Ollama, узнайте скорость и причину остановкиOllama Stream ReaderСоберите потоковый ответ Ollama обратно и посмотрите, почему он остановился и как быстро работал
- Читайте ollama show: контекст, слои, возможности, лицензия, кэш KVOllama Model Info ReaderЧитайте ollama show или /api/show: контекст, слои, возможности, лицензия и размер кэша KV
- Чтение лога Ollama: память, слои GPU, контекст, скорость, предупрежденияOllama Log ReaderЧтение лога сервера Ollama: память при каждой загрузке модели, слои на GPU, контекст, скорость и предупреждения
Статьи по теме
Подключаем Dify к Ollama на собственном VPS
Запустите Dify на своём VPS и используйте Ollama как модель: установка, поля плагина, проблема адреса в Docker и эмбеддинги — по официальной документации.
Опубликовано: Доступные инструменты: Local LLM Memory Estimator
Локальная LLM без дорогого ПК: руководство для начинающих по работе через VPS
Нет мощного ПК? Арендуйте VPS и запустите небольшую локальную LLM из браузера: шесть шагов от оценки памяти до защищённого экрана чата, с честным описанием ограничений.
Опубликовано: Доступные инструменты: Local LLM Memory Estimator, LLM API Cost Calculator
Open WebUI на VPS: запуск в Docker и подключение к Ollama
Запуск Open WebUI в Docker и подключение к Ollama на собственном сервере: команды, первая учётная запись, два типа подключения и обновление.
Опубликовано: Доступные инструменты: Local LLM Memory Estimator
Вызов локальной модели из кода: структурированный вывод и OpenAI-совместимый API в Ollama
Ограничьте вывод локальной модели с помощью JSON Schema и обращайтесь к Ollama из клиентов в стиле OpenAI: что говорит официальная документация и что не поддерживается.
Опубликовано: Доступные инструменты: JSON Schema Validator, LLM JSON Repair, Ollama OpenAI Converter
Что умеет локальная модель? tools, thinking, vision и embedding в Ollama и что поместится на VPS
tools, thinking, vision, embedding: что означают метки в библиотеке Ollama, у каких моделей они есть и насколько велики загрузки.
Опубликовано: Доступные инструменты: Local LLM Memory Estimator