~/tools / ローカルLLMをサーバーで動かす / Ollama Stream Reader

Ollama Stream Reader — Ollama のストリームを結合し、速度と停止理由を確認

Ollama のストリーミングレスポンス(/api/chat、/api/generate、または OpenAI 互換の /v1/chat/completions のもの)を貼り付けると、細切れの断片を元の全文、thinking、ツール呼び出しに結合します。モデルが止まった理由、生成とプロンプトの速度、ストリームが途中で切れていないかを表示し、次のリクエストに加える assistant メッセージも用意します。データはブラウザの外に出ません。

curl -sN http://localhost:11434/api/chat -d '{"model":"qwen2.5:7b","messages":[{"role":"user","content":"Hello"}]}' > stream.txt

curl -sN http://localhost:11434/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"qwen2.5:7b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Hello"}]}' > stream.txt

Hello, nice to meet.

{
  "role": "assistant",
  "content": "Hello, nice to meet."
}

Ollama は既定で回答をストリーミングします。/api/chat と /api/generate は1行に1つの JSON オブジェクトを送ります(newline-delimited JSON)。各行に回答の数文字が入り、最後の行は done が true になり、トークン数と所要時間(ナノ秒)を持ちます。OpenAI 互換の /v1/chat/completions がストリーミングするのは、stream が true のときだけです。このときは server-sent events を送ります。data: で始まる行、空の delta と finish_reason を持つ独立したチャンク、最後の data: [DONE] です。トークン数が付くのは、リクエストで stream_options.include_usage を設定したときだけで、choices が空の追加チャンクに入り、Ollama はそこに timings オブジェクトを加えます。このツールは3つの形式をすべて読み取ります。HTTP ヘッダー付きの curl -i の出力にも対応し、content、thinking(OpenAI 形式では reasoning)、ツール呼び出しを結合して、問題点を一覧にします。done の行がない、または [DONE] がないストリームは途中で切れています。{"error": …} の行は、Ollama が送信を始めた後にエラーで止まったことを意味します。done_reason が length なら、num_predict または max_tokens に達しています。生成速度は eval_count を eval_duration で割った値です。プロンプトについては、Ollama のドキュメントによると prompt_eval_duration はキャッシュになかったプロンプトトークンだけを対象にしているため、このツールはそのトークンだけをその時間で割ります。OpenAI 形式では、Ollama 自身の timings.prompt_per_second が、キャッシュ済みを含むすべてのプロンプトトークンをその時間で割ります。私たちのテストでは、35 トークンのプロンプトのうち 34 トークンがキャッシュから来て、残り 1 トークンに 97 ms かかったとき、360.8 トークン/秒と報告されました。OpenAI 形式のツール呼び出しは、同じ index を持つ断片に分かれて届くことがあるため、このツールは index ごとに arguments を結合します。Ollama 自体は、各ツール呼び出しを1つのチャンクにまとめて送ります。私たちは、このツールを Ollama 0.40.11 と qwen2.5:7b による実際のストリームで、各形式を Ollama のドキュメントとソースコードで確認しました。

このツールの計算部分は、オープンソース(MIT ライセンス)で公開しています。 github.com/seigo5555/toolkitbox-lib/src/ollama-stream.ts