~/tools / Menjalankan LLM lokal di server Anda / Ollama Stream Reader

Ollama Stream Reader — Satukan stream Ollama dan lihat kecepatan serta alasan berhenti

Tempel respons streaming dari Ollama, dari /api/chat, /api/generate atau /v1/chat/completions yang kompatibel dengan OpenAI, dan alat ini menyatukan kembali potongan-potongannya menjadi teks lengkap, thinking, dan tool calls. Alat ini menunjukkan mengapa model berhenti, seberapa cepat model menghasilkan teks dan memproses prompt, serta apakah stream terputus, dan memberi Anda pesan assistant untuk ditambahkan ke permintaan berikutnya. Tidak ada yang keluar dari browser Anda.

curl -sN http://localhost:11434/api/chat -d '{"model":"qwen2.5:7b","messages":[{"role":"user","content":"Hello"}]}' > stream.txt

curl -sN http://localhost:11434/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"qwen2.5:7b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Hello"}]}' > stream.txt

Hello, nice to meet.

{
  "role": "assistant",
  "content": "Hello, nice to meet."
}

Ollama men-stream jawabannya secara default. /api/chat dan /api/generate mengirim satu objek JSON per baris (newline-delimited JSON): setiap baris membawa beberapa karakter jawaban, dan baris terakhir memiliki done yang diatur ke true serta membawa jumlah token dan durasi, dalam nanodetik. /v1/chat/completions yang kompatibel dengan OpenAI hanya melakukan streaming jika stream bernilai true. Saat itu ia mengirim server-sent events: baris yang diawali data:, chunk terpisah dengan delta kosong dan finish_reason, serta data: [DONE] di akhir. Jumlah token hanya ada jika permintaan mengatur stream_options.include_usage, dalam chunk tambahan dengan daftar choices kosong, dan Ollama menambahkan objek timings ke dalamnya. Alat ini membaca ketiga bentuk tersebut, termasuk keluaran curl -i beserta header HTTP-nya, menyatukan content, thinking (reasoning pada bentuk OpenAI) dan tool calls, serta mendaftar apa yang salah: stream tanpa baris done atau tanpa [DONE] terputus; baris {"error": …} berarti Ollama berhenti dengan error setelah mulai mengirim; done_reason length berarti num_predict atau max_tokens tercapai. Kecepatan generasi adalah eval_count dibagi eval_duration. Untuk prompt, dokumentasi Ollama menyatakan bahwa prompt_eval_duration hanya mencakup token prompt yang tidak ada di cache, sehingga alat ini hanya membagi token tersebut dengan durasi itu. Pada bentuk OpenAI, timings.prompt_per_second milik Ollama sendiri membagi semua token prompt, termasuk yang berasal dari cache, dengan durasi tersebut. Dalam uji kami, nilainya dilaporkan 360.8 token per detik untuk prompt yang 34 dari 35 tokennya berasal dari cache dan satu token sisanya memakan 97 ms. Tool calls pada bentuk OpenAI dapat tiba dalam potongan yang berbagi index yang sama, sehingga alat ini menyatukan arguments berdasarkan index; Ollama sendiri mengirim setiap tool call utuh, dalam satu chunk. Kami memeriksa alat ini dengan stream nyata dari Ollama 0.40.11 dengan qwen2.5:7b, dan format-formatnya dengan dokumentasi serta kode sumber Ollama.

Logika utama alat ini bersifat sumber terbuka dengan lisensi MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-stream.ts