~/tools / Локальная LLM на своём сервере / Ollama Stream Reader

Ollama Stream Reader — Соберите потоковый ответ Ollama, узнайте скорость и причину остановки

Вставьте потоковый ответ Ollama, от /api/chat, /api/generate или OpenAI-совместимого /v1/chat/completions, и инструмент соберёт части обратно в полный текст, thinking и вызовы инструментов. Он покажет, почему модель остановилась, как быстро она генерировала и обрабатывала промпт и был ли поток оборван, а также выдаст сообщение ассистента для следующего запроса. Данные не покидают ваш браузер.

curl -sN http://localhost:11434/api/chat -d '{"model":"qwen2.5:7b","messages":[{"role":"user","content":"Hello"}]}' > stream.txt

curl -sN http://localhost:11434/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"qwen2.5:7b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Hello"}]}' > stream.txt

Hello, nice to meet.

{
  "role": "assistant",
  "content": "Hello, nice to meet."
}

Ollama по умолчанию передаёт ответы потоком. /api/chat и /api/generate отправляют по одному JSON-объекту в строке (newline-delimited JSON): каждая строка содержит несколько символов ответа, а в последней строке done равно true, и в ней есть число токенов и длительности в наносекундах. OpenAI-совместимый /v1/chat/completions передаёт поток, только если stream равно true. Тогда он отправляет server-sent events: строки, начинающиеся с data:, отдельный фрагмент с пустым delta и finish_reason, а в конце data: [DONE]. Число токенов приходит, только если запрос задаёт stream_options.include_usage, в дополнительном фрагменте с пустым списком choices, и Ollama добавляет к нему объект timings. Этот инструмент читает все три формы, включая вывод curl -i с заголовками HTTP, склеивает content, thinking (reasoning в форме OpenAI) и вызовы инструментов и перечисляет, что не так: поток без строки done или без [DONE] был оборван; строка {"error": …} означает, что Ollama остановилась с ошибкой уже после того, как начала отправку; done_reason length означает, что достигнут num_predict или max_tokens. Скорость генерации равна eval_count, делённому на eval_duration. Для промпта в документации Ollama сказано, что prompt_eval_duration охватывает только те токены промпта, которых не было в кэше, поэтому инструмент делит на это время только их. В форме OpenAI собственное timings.prompt_per_second у Ollama делит на это время все токены промпта, включая взятые из кэша. В нашем тесте оно показало 360.8 токена в секунду для промпта, в котором 34 из 35 токенов пришли из кэша, а один оставшийся токен занял 97 ms. Вызовы инструментов в форме OpenAI могут приходить частями с общим index, поэтому инструмент склеивает аргументы по index; сама Ollama отправляет каждый вызов инструмента целиком, одним фрагментом. Мы проверили инструмент на настоящих потоках Ollama 0.40.11 с qwen2.5:7b, а форматы сверили с документацией и исходным кодом Ollama.

Основная логика этого инструмента открыта под лицензией MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-stream.ts