~/tools / Chạy LLM cục bộ trên máy chủ của bạn / Ollama Stream Reader

Ollama Stream Reader — Ghép luồng Ollama và xem tốc độ cùng lý do dừng

Dán một phản hồi dạng luồng từ Ollama, từ /api/chat, /api/generate hoặc /v1/chat/completions tương thích OpenAI, và công cụ ghép các mảnh lại thành toàn bộ văn bản, thinking và tool calls. Nó cho biết vì sao mô hình dừng, tốc độ sinh và tốc độ xử lý prompt, luồng có bị cắt giữa chừng không, và đưa ra thông điệp assistant để thêm vào yêu cầu tiếp theo. Không có gì rời khỏi trình duyệt của bạn.

curl -sN http://localhost:11434/api/chat -d '{"model":"qwen2.5:7b","messages":[{"role":"user","content":"Hello"}]}' > stream.txt

curl -sN http://localhost:11434/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"qwen2.5:7b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Hello"}]}' > stream.txt

Hello, nice to meet.

{
  "role": "assistant",
  "content": "Hello, nice to meet."
}

Ollama truyền câu trả lời theo luồng theo mặc định. /api/chat và /api/generate gửi mỗi dòng một đối tượng JSON (newline-delimited JSON): mỗi dòng mang vài ký tự của câu trả lời, và dòng cuối có done đặt là true cùng số token và thời lượng, tính bằng nano giây. /v1/chat/completions tương thích OpenAI chỉ truyền luồng khi stream là true. Khi đó nó gửi server-sent events: các dòng bắt đầu bằng data:, một chunk riêng có delta rỗng và finish_reason, và data: [DONE] ở cuối. Số token chỉ có khi yêu cầu đặt stream_options.include_usage, trong một chunk bổ sung có danh sách choices rỗng, và Ollama thêm một đối tượng timings vào đó. Công cụ này đọc cả ba dạng, kể cả đầu ra của curl -i kèm tiêu đề HTTP, ghép content, thinking (reasoning ở dạng OpenAI) và tool calls, rồi liệt kê điều gì không ổn: luồng không có dòng done hoặc không có [DONE] đã bị cắt giữa chừng; một dòng {"error": …} nghĩa là Ollama dừng vì lỗi sau khi đã bắt đầu gửi; done_reason là length nghĩa là đã đạt num_predict hoặc max_tokens. Tốc độ sinh là eval_count chia cho eval_duration. Với prompt, tài liệu của Ollama nói rằng prompt_eval_duration chỉ tính các token prompt không nằm trong cache, nên công cụ chỉ chia các token đó cho thời lượng này. Ở dạng OpenAI, timings.prompt_per_second của chính Ollama chia tất cả token prompt, kể cả token từ cache, cho thời lượng đó. Trong thử nghiệm của chúng tôi, nó báo 360.8 token/giây cho một prompt có 34 trên 35 token đến từ cache và token còn lại mất 97 ms. Tool calls ở dạng OpenAI có thể đến thành nhiều mảnh dùng chung một index, nên công cụ ghép arguments theo index; bản thân Ollama gửi mỗi tool call nguyên vẹn trong một chunk. Chúng tôi đã kiểm tra công cụ với các luồng thật từ Ollama 0.40.11 với qwen2.5:7b, và kiểm tra các định dạng với tài liệu và mã nguồn của Ollama.

Phần xử lý chính của công cụ này là mã nguồn mở theo giấy phép MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-stream.ts