~/tools / Faire tourner un LLM local sur votre serveur / Ollama Stream Reader

Ollama Stream Reader — Recollez un stream Ollama et voyez sa vitesse et sa raison d'arrêt

Collez une réponse en streaming d'Ollama, de /api/chat, /api/generate ou du /v1/chat/completions compatible OpenAI, et l'outil recolle les morceaux en texte complet, en thinking et en appels d'outils. Il indique pourquoi le modèle s'est arrêté, à quelle vitesse il a généré et traité le prompt, et si le stream a été coupé, et vous donne le message de l'assistant à ajouter à la requête suivante. Rien ne quitte votre navigateur.

curl -sN http://localhost:11434/api/chat -d '{"model":"qwen2.5:7b","messages":[{"role":"user","content":"Hello"}]}' > stream.txt

curl -sN http://localhost:11434/v1/chat/completions -H "Content-Type: application/json" -d '{"model":"qwen2.5:7b","stream":true,"stream_options":{"include_usage":true},"messages":[{"role":"user","content":"Hello"}]}' > stream.txt

Hello, nice to meet.

{
  "role": "assistant",
  "content": "Hello, nice to meet."
}

Ollama envoie ses réponses en streaming par défaut. /api/chat et /api/generate envoient un objet JSON par ligne (newline-delimited JSON) : chaque ligne porte quelques caractères de la réponse, et la dernière ligne a done à true et porte les nombres de tokens et les durées, en nanosecondes. Le /v1/chat/completions compatible OpenAI ne fait du streaming que lorsque stream vaut true. Il envoie alors des server-sent events : des lignes qui commencent par data:, un chunk à part avec un delta vide et le finish_reason, et data: [DONE] à la fin. Les nombres de tokens n'arrivent que si la requête définit stream_options.include_usage, dans un chunk supplémentaire avec une liste choices vide, et Ollama y ajoute un objet timings. Cet outil lit les trois formes, y compris la sortie de curl -i avec ses en-têtes HTTP, recolle content, thinking (reasoning dans la forme OpenAI) et les appels d'outils, et liste ce qui ne va pas : un stream sans ligne done ou sans [DONE] a été coupé ; une ligne {"error": …} signifie qu'Ollama s'est arrêté sur une erreur après avoir commencé à envoyer ; done_reason length signifie que num_predict ou max_tokens a été atteint. La vitesse de génération est eval_count divisé par eval_duration. Pour le prompt, la documentation d'Ollama indique que prompt_eval_duration ne couvre que les tokens du prompt qui n'étaient pas dans le cache, donc l'outil ne divise que ces tokens par cette durée. Dans la forme OpenAI, le timings.prompt_per_second d'Ollama divise tous les tokens du prompt, y compris ceux du cache, par ce temps. Dans notre test, il a indiqué 360.8 tokens par seconde pour un prompt dont 34 tokens sur 35 venaient du cache et dont le seul token restant a pris 97 ms. Les appels d'outils dans la forme OpenAI peuvent arriver en morceaux qui partagent un index, donc l'outil recolle les arguments par index ; Ollama lui-même envoie chaque appel d'outil en entier, dans un seul chunk. Nous avons vérifié l'outil avec de vrais streams d'Ollama 0.40.11 avec qwen2.5:7b, et les formats avec la documentation et le code source d'Ollama.

Le cœur de cet outil est open source, sous licence MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-stream.ts