~/tools / Eseguire un LLM locale sul tuo server / Ollama Stream Reader

Ollama Stream Reader — Ricomponi uno stream di Ollama e vedi velocità e motivo dell'arresto

Incolla una risposta in streaming di Ollama, da /api/chat, /api/generate o dal /v1/chat/completions compatibile con OpenAI, e lo strumento ricompone i pezzi nel testo completo, nel thinking e nelle chiamate agli strumenti. Mostra perché il modello si è fermato, con quale velocità ha generato e ha elaborato il prompt, e se lo stream è stato interrotto, e ti dà il messaggio dell'assistente da aggiungere alla richiesta successiva. Nulla lascia il tuo browser.

curl -sN http://localhost:11434/api/chat -d '{"model":"qwen2.5:7b","messages":[{"role":"user","content":"Hello"}]}' > stream.txt

curl -sN http://localhost:11434/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"qwen2.5:7b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Hello"}]}' > stream.txt

Hello, nice to meet.

{
  "role": "assistant",
  "content": "Hello, nice to meet."
}

Ollama invia le sue risposte in streaming per impostazione predefinita. /api/chat e /api/generate inviano un oggetto JSON per riga (newline-delimited JSON): ogni riga porta pochi caratteri della risposta, e l'ultima riga ha done impostato a true e porta i conteggi dei token e le durate, in nanosecondi. Il /v1/chat/completions compatibile con OpenAI fa streaming solo quando stream è true. Allora invia server-sent events: righe che iniziano con data:, un chunk separato con un delta vuoto e il finish_reason, e data: [DONE] alla fine. I conteggi dei token arrivano solo se la richiesta imposta stream_options.include_usage, in un chunk aggiuntivo con una lista choices vuota, e Ollama vi aggiunge un oggetto timings. Questo strumento legge tutte e tre le forme, compreso l'output di curl -i con le sue intestazioni HTTP, unisce content, thinking (reasoning nella forma OpenAI) e le chiamate agli strumenti, ed elenca ciò che non va: uno stream senza riga done o senza [DONE] è stato interrotto; una riga {"error": …} significa che Ollama si è fermato con un errore dopo aver iniziato a inviare; done_reason length significa che è stato raggiunto num_predict o max_tokens. La velocità di generazione è eval_count diviso per eval_duration. Per il prompt, la documentazione di Ollama dice che prompt_eval_duration copre solo i token del prompt che non erano nella cache, quindi lo strumento divide per essa solo quei token. Nella forma OpenAI, il timings.prompt_per_second di Ollama divide per quel tempo tutti i token del prompt, compresi quelli della cache. Nel nostro test ha riportato 360.8 token al secondo per un prompt in cui 34 token su 35 venivano dalla cache e l'unico token rimanente ha impiegato 97 ms. Le chiamate agli strumenti nella forma OpenAI possono arrivare in pezzi che condividono un index, quindi lo strumento unisce gli argomenti per index; Ollama stesso invia ogni chiamata a uno strumento intera, in un solo chunk. Abbiamo verificato lo strumento con stream reali di Ollama 0.40.11 con qwen2.5:7b, e i formati con la documentazione e il codice sorgente di Ollama.

La logica principale di questo strumento è open source, con licenza MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-stream.ts