toolkitbox

~/ / Статьи об ИИ / Локальные LLM на VPS / Что умеет локальная модель? tools, thinking, vision и embedding в Ollama и что поместится на VPS

Что умеет локальная модель? tools, thinking, vision и embedding в Ollama и что поместится на VPS

Локальная модель — это не только окно чата. Библиотека Ollama помечает модели тем, что они умеют, а документация описывает каждую из этих возможностей: вызов инструментов, показ рассуждений, чтение изображений и превращение текста в векторы для поиска. В статье объясняется, что означает каждая метка, приведены десять моделей с метками и размерами загрузки и показано, как сопоставить то, что вы хотите делать, с объёмом памяти вашего сервера.

Опубликовано: · 4 мин чтения · Метки, размеры и контекстные окна сверены с библиотекой и документацией Ollama на 2026-10-26. Библиотека часто меняется, поэтому проверяйте страницу того тега, который собираетесь использовать.

Четыре метки

Библиотека Ollama отмечает каждую модель теми возможностями, которые она поддерживает. Для того, что вы строите на сервере, важны четыре из них. Документация описывает их так.

МеткаЧто говорит документацияКак это использовать
toolsВызов инструментов (tool calling), он же вызов функций (function calling), позволяет модели обращаться к инструментам и учитывать их результаты в своих ответах. Поддерживаются одиночный вызов инструмента, параллельные вызовы и многошаговый цикл агента.Доступные инструменты вы перечисляете в поле tools запроса к /api/chat. Когда модель вызывает инструмент, вы запускаете его и отправляете результат обратно сообщением с ролью tool.
thinkingМодели с поддержкой thinking выводят свои рассуждения отдельно от окончательного ответа, так что можно проверять шаги модели или скрывать след рассуждений.Вы задаёте параметр think в запросе. Рассуждения приходят в message.thinking, а ответ — в message.content.
visionМодели vision принимают изображения вместе с текстом, поэтому модель может описывать то, что видит, классифицировать это и отвечать на вопросы об этом.Вы передаёте массив images в сообщении. REST API ожидает данные изображения в кодировке base64.
embeddingЭмбеддинги — это числовые векторы, которые можно хранить в векторной базе данных, искать по косинусному сходству или использовать в конвейерах RAG.Вы вызываете /api/embed. Для большинства задач семантического поиска документация рекомендует косинусное сходство, а также одну и ту же модель эмбеддингов и для индексации, и для запросов.

Десять моделей и их метки

В таблице приведены метки, которые библиотека Ollama показывает для каждого семейства моделей, вместе с одним тегом, размером из строки этого тега в списке тегов и его контекстным окном. Размер — это размер загрузки, то есть минимум памяти, который нужен модели, а не тот объём, на который стоит рассчитывать.

TagLabelsРазмер загрузкиКонтекстное окноКак библиотека описывает модель
qwen3:4btools, thinking2.5 GB256KQwen3 — новейшее поколение больших языковых моделей серии Qwen
llama3.2:3btools2.0 GB128KLlama 3.2 от Meta переходит к малым размерам: модели 1B и 3B
gemma3:4bvision3.4 GB128KСамая мощная модель, которая работает на одном GPU
qwen3-vl:4bvision, tools, thinking3.3 GB256KСамая мощная на сегодня модель «зрение — язык» в семействе Qwen
deepseek-r1:7btools, thinking4.7 GB128KСемейство открытых моделей для рассуждений
qwen2.5-coder:7btools4.7 GB32KНовейшая серия моделей Qwen, специализированных на коде
mistral:7btools4.4 GB32KМодель 7B, выпущенная Mistral AI, обновлена до версии 0.3
gpt-oss:20btools, thinking14 GB128KОткрытые модели OpenAI (open-weight) для рассуждений и агентных задач
nomic-embed-textembedding274 MB2KОткрытая модель эмбеддингов с большим контекстным окном в токенах
embeddinggemmaembedding622 MB2KМодель эмбеддингов от Google с 300M параметров

Метки относятся к семейству моделей, а у семейства есть несколько размеров. Прежде чем скачивать, откройте страницу того тега, который собираетесь использовать, и посмотрите его типы входных данных и размер.

Как сопоставить возможность с задачей

Документация называет, для чего служит каждая возможность. Ниже — наше прочтение того, что это значит для сервера, который вы запускаете сами; это не утверждение о качестве:

  • Tools: ассистент, который может что-то найти или запустить действие в вашей собственной системе, потому что модель запрашивает инструмент, а ваш код его выполняет. Определение инструмента, которое вы отправляете, должно соответствовать форме API; это можно проверить с помощью Tool Definition Checker.
  • Thinking: ответы, для которых вы хотите видеть или записывать рассуждения модели отдельно, например при отладке промпта. Рассуждения приходят раньше ответа, поэтому ответ занимает больше токенов.
  • Vision: описание или классификация изображения либо ответ на вопрос о нём с помощью модели, которая принимает изображения вместе с текстом.
  • Embedding: поиск по смыслу и извлечение данных для RAG. Две модели эмбеддингов из таблицы — небольшие загрузки, 274 MB и 622 MB, что намного меньше, чем у чат-модели.

Что поместится на VPS

Что вы сможете запустить, решает память. Приведённые выше размеры загрузки — это нижняя граница, а длина контекста добавляет сверху KV-кэш. Для моделей Qwen3 и Mistral 7B калькулятор ниже использует значения из официальной конфигурации, поэтому вы можете увидеть итог для своей длины контекста и для тарифа, который рассматриваете.

Для остальных моделей из таблицы в калькуляторе нет готовых настроек, потому что ему нужны число слоёв, число KV-голов и размерность головы из конфигурационного файла каждой модели. Их можно ввести вручную как свою модель.

Попробовать: Local LLM Memory Estimator

Модель

Тег Ollama qwen3:8b, квантование Q4_K_M, размер загрузки 5.2 GB.

Оценка

Веса модели
4.84 GiB
Кэш KV
0.56 GiB
Запас
1.00 GiB
Итого
6.41 GiB (6.88 GB)
Наименьший распространённый объём памяти, в который помещается
8 GiB

Это оценка. Она не включает вычислительные буферы рантайма и предполагает, что у каждого слоя одинаковая форма KV. Измерьте реальный запуск, прежде чем выбирать тариф.

Данные о модели проверены 2026-10-26.

Источники: Ollama library · Конфигурация модели (config.json) · Ollama FAQ

Всё выполняется в вашем браузере. Ничего не загружается.

Выбор

  • Начните с нужной вам возможности, затем выберите самую маленькую модель с этой меткой и измерьте память и скорость на тестовом сервере, прежде чем выбирать тариф.
  • Сверьте контекстное окно из таблицы со своей задачей: у двух моделей эмбеддингов указано 2K, а у mistral:7b и qwen2.5-coder:7b — 32K.
  • Несколько возможностей могут быть в одной модели. У Qwen3 есть tools и thinking, а Qwen3-VL добавляет vision.
  • Библиотека часто пополняется новыми моделями. Считайте эту таблицу снимком на указанную выше дату.

Источники

Читайте дальше