~/tools / Локальная LLM на своём сервере / Ollama Log Reader

Ollama Log Reader — Чтение лога Ollama: память, слои GPU, контекст, скорость, предупреждения

Вставьте лог сервера Ollama из server.log, journalctl или docker logs, и инструмент выберет главное: сколько памяти заняла каждая загрузка модели и где (веса, кэш KV, вычислительные буферы, отдельно для CPU и GPU), сколько слоёв попало на GPU, длину контекста, запросы и их статус, скорость обработки промпта и генерации и каждое предупреждение с объяснением. Он показывает, когда промпт был обрезан, чтобы поместиться в контекст, когда модель не поместилась в память и когда Ollama загрузила модель заново. Ничего не покидает ваш браузер.

# macOS
cat ~/.ollama/logs/server.log

# Linux (systemd)
journalctl -u ollama --no-pager

# Docker
docker logs <container-name>

# Windows
explorer %LOCALAPPDATA%\Ollama

Когда Ollama работает медленно, ответы игнорируют начало длинного промпта или запрос завершается ошибкой 500, объяснение обычно есть в логе сервера. В логе перемешаны собственные строки Ollama (time=… level=… msg=…), по одной строке на каждый HTTP-запрос ([GIN] …) и вывод llama-server, программы llama.cpp, которой Ollama загружает каждую модель GGUF. Этот инструмент читает все три. Для каждой загрузки модели он показывает длину контекста (-c), число параллельных запросов (-np), тип и размер файла модели, длину контекста, на которую модель обучалась, сколько слоёв выгружено на GPU, а также память под веса, кэш KV и вычислительные буферы по устройствам. Он также перечисляет запросы со статусом и длительностью и скорость обработки промпта и генерации, которую llama-server выводит после каждого запроса. Затем он объясняет, что пошло не так, опираясь на сообщения из исходного кода Ollama (v0.40.15). Когда промпт не помещается в контекст, Ollama оставляет первые num_keep токенов и конец промпта, а то, что между ними, отбрасывает, пока промпт не займёт около половины контекста: в нашем тесте промпт из 633 токенов при num_ctx 256 был обрезан до 130 токенов. При truncate, равном false, тот же запрос был отклонён с ошибкой 400. Значение num_ctx больше длины, на которую обучалась модель, снижается до этой длины. Когда модель не помещается в память, загрузка завершается неудачей: в нашем тесте на Linux с 1.9 GiB памяти и без GPU qwen2.5:7b потребовалось на веса 4,460 MiB, llama-server был остановлен с signal: killed, а запрос вернул 500. Строка о том, что llama-server завершился, за которой сразу следует новый запуск, означает, что Ollama загружала модель заново с другими настройками, а не что она упала. Формат лога меняется от выпуска к выпуску; инструмент читает известные ему строки и пропускает остальные. Мы проверили его на настоящих логах Ollama 0.40.11 на macOS (Apple M1) и на Linux в Docker без GPU.

Основная логика этого инструмента открыта под лицензией MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-log.ts