~/tools / Yerel LLM'i kendi sunucunuzda çalıştırın / Ollama Stream Reader

Ollama Stream Reader — Akış halindeki Ollama yanıtını birleştirin, hızı ve durma nedenini görün

Ollama'dan gelen akış halindeki bir yanıtı, /api/chat, /api/generate ya da OpenAI uyumlu /v1/chat/completions çıktısını yapıştırın; araç parçaları yeniden tam metne, thinking'e ve araç çağrılarına birleştirir. Modelin neden durduğunu, ne kadar hızlı ürettiğini ve prompt'u ne kadar hızlı işlediğini, akışın kesilip kesilmediğini gösterir ve bir sonraki isteğe eklenecek assistant mesajını verir. Hiçbir veri tarayıcınızdan çıkmaz.

curl -sN http://localhost:11434/api/chat -d '{"model":"qwen2.5:7b","messages":[{"role":"user","content":"Hello"}]}' > stream.txt

curl -sN http://localhost:11434/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"qwen2.5:7b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Hello"}]}' > stream.txt

Hello, nice to meet.

{
  "role": "assistant",
  "content": "Hello, nice to meet."
}

Ollama yanıtlarını varsayılan olarak akış halinde gönderir. /api/chat ve /api/generate satır başına bir JSON nesnesi gönderir (newline-delimited JSON): her satır yanıtın birkaç karakterini taşır, son satırda done true olur ve token sayıları ile nanosaniye cinsinden süreler bulunur. OpenAI uyumlu /v1/chat/completions yalnızca stream true olduğunda akış yapar. O zaman server-sent events gönderir: data: ile başlayan satırlar, boş bir delta ve finish_reason içeren ayrı bir parça ve sonda data: [DONE]. Token sayıları yalnızca istek stream_options.include_usage ayarını yaparsa, boş bir choices listesi olan ek bir parçada gelir ve Ollama ona bir timings nesnesi ekler. Bu araç üç biçimi de okur, HTTP başlıklarıyla birlikte curl -i çıktısını da, content, thinking (OpenAI biçiminde reasoning) ve araç çağrılarını birleştirir ve neyin yanlış olduğunu listeler: done satırı ya da [DONE] olmayan akış kesilmiştir; {"error": …} satırı, Ollama'nın göndermeye başladıktan sonra bir hatayla durduğu anlamına gelir; done_reason length, num_predict ya da max_tokens sınırına ulaşıldığı anlamına gelir. Üretim hızı eval_count değerinin eval_duration değerine bölünmesidir. Prompt için Ollama'nın belgeleri prompt_eval_duration değerinin yalnızca önbellekte olmayan prompt token'larını kapsadığını söyler, bu yüzden araç bu süreye yalnızca o token'ları böler. OpenAI biçiminde Ollama'nın kendi timings.prompt_per_second değeri, önbellekten gelenler dahil tüm prompt token'larını bu süreye böler. Testimizde, 35 token'ın 34'ünün önbellekten geldiği ve kalan tek token'ın 97 ms sürdüğü bir prompt için saniyede 360.8 token bildirdi. OpenAI biçimindeki araç çağrıları aynı index'i paylaşan parçalar halinde gelebilir, bu yüzden araç argümanları index'e göre birleştirir; Ollama'nın kendisi her araç çağrısını tek parçada, bütün olarak gönderir. Aracı qwen2.5:7b ile Ollama 0.40.11'in gerçek akışlarında, biçimleri ise Ollama'nın belgeleri ve kaynak koduyla karşılaştırarak denetledik.

Bu aracın temel mantığı MIT lisansıyla açık kaynaktır. github.com/seigo5555/toolkitbox-lib/src/ollama-stream.ts