~/tools / Lokalny LLM na własnym serwerze / Ollama Stream Reader

Ollama Stream Reader — Złóż strumień odpowiedzi Ollamy i zobacz szybkość oraz powód zatrzymania

Wklej strumieniową odpowiedź z Ollamy, z /api/chat, /api/generate lub zgodnego z OpenAI /v1/chat/completions, a narzędzie złoży kawałki z powrotem w pełny tekst, thinking i wywołania narzędzi. Pokaże, dlaczego model się zatrzymał, jak szybko generował i przetwarzał prompt oraz czy strumień został przerwany, i poda wiadomość asystenta do następnego żądania. Nic nie opuszcza Twojej przeglądarki.

curl -sN http://localhost:11434/api/chat -d '{"model":"qwen2.5:7b","messages":[{"role":"user","content":"Hello"}]}' > stream.txt

curl -sN http://localhost:11434/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"qwen2.5:7b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Hello"}]}' > stream.txt

Hello, nice to meet.

{
  "role": "assistant",
  "content": "Hello, nice to meet."
}

Ollama domyślnie przesyła odpowiedzi strumieniowo. /api/chat i /api/generate wysyłają jeden obiekt JSON w wierszu (newline-delimited JSON): każdy wiersz zawiera kilka znaków odpowiedzi, a ostatni wiersz ma done ustawione na true i niesie liczby tokenów oraz czasy w nanosekundach. Zgodny z OpenAI /v1/chat/completions przesyła strumieniowo tylko wtedy, gdy stream ma wartość true. Wysyła wtedy server-sent events: wiersze zaczynające się od data:, osobny fragment z pustym delta i finish_reason oraz na końcu data: [DONE]. Liczby tokenów pojawiają się tylko wtedy, gdy żądanie ustawia stream_options.include_usage, w dodatkowym fragmencie z pustą listą choices, a Ollama dodaje do niego obiekt timings. To narzędzie czyta wszystkie trzy postaci, także wynik curl -i z nagłówkami HTTP, łączy content, thinking (reasoning w postaci OpenAI) i wywołania narzędzi oraz wymienia, co jest nie tak: strumień bez wiersza done lub bez [DONE] został przerwany; wiersz {"error": …} oznacza, że Ollama zatrzymała się z błędem po tym, jak zaczęła już wysyłać; done_reason length oznacza, że osiągnięto num_predict lub max_tokens. Szybkość generowania to eval_count podzielone przez eval_duration. W przypadku promptu dokumentacja Ollamy mówi, że prompt_eval_duration obejmuje tylko tokeny promptu, których nie było w pamięci podręcznej, dlatego narzędzie dzieli przez ten czas tylko te tokeny. W postaci OpenAI własne timings.prompt_per_second Ollamy dzieli przez ten czas wszystkie tokeny promptu, także te z pamięci podręcznej. W naszym teście podało 360.8 tokenów na sekundę dla promptu, w którym 34 z 35 tokenów pochodziło z pamięci podręcznej, a jeden pozostały token zajął 97 ms. Wywołania narzędzi w postaci OpenAI mogą przychodzić we fragmentach o wspólnym index, więc narzędzie łączy argumenty według index; sama Ollama wysyła każde wywołanie narzędzia w całości, w jednym fragmencie. Sprawdziliśmy narzędzie na prawdziwych strumieniach z Ollamy 0.40.11 z qwen2.5:7b, a formaty na podstawie dokumentacji i kodu źródłowego Ollamy.

Główna logika tego narzędzia jest otwartoźródłowa, na licencji MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-stream.ts