~/tools / Modelldateien und Chat-Templates / Ollama Template Tester

Ollama Template Tester — Ein Ollama-TEMPLATE ausführen und den genauen Prompt sehen

Fügen Sie das TEMPLATE eines Ollama-Modells ein (aus ollama show --template oder Ihrem Modelfile), ergänzen Sie ein Gespräch, tools oder einen Prompt und sehen Sie genau den Text, den Ollama an das Modell übergibt: mit Spezial-Tokens, Zeilenumbrüchen und allem anderen. Das Tool führt das Template so aus wie Ollama, mit den Template-Regeln von Go, den Daten von Ollama (Nachrichten, Tool-Aufrufe, tools, think) und seinen drei Arten, ein Template auszuführen. Es zeigt außerdem, ob Ollama Ihr TEMPLATE überhaupt verwendet oder das Chat-Template in der GGUF-Datei, und wann Ollama eine Anfrage mit tools oder thinking ablehnt. Nichts verlässt Ihren Browser.

<|im_start|>system
You are a helpful assistant.

# Tools

You may call one or more functions to assist with the user query.

You are provided with function signatures within <tools></tools> XML tags:
<tools>
{"type": "function", "function": {get_weather Get the current weather for a city {object <nil> <nil> [city] {"city":{"type":"string","description":"City name"}}}}}
</tools>

For each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:
<tool_call>
{"name": <function-name>, "arguments": <args-json-object>}
</tool_call><|im_end|>
<|im_start|>user
What is the weather in Tokyo?<|im_end|>
<|im_start|>assistant
<tool_call>
{"name": "get_weather", "arguments": {"city":"Tokyo"}}
</tool_call><|im_end|>
<|im_start|>user
<tool_response>
{"temperature": 20}
</tool_response><|im_end|>
<|im_start|>assistant
It is 20°C in Tokyo.<|im_end|>
<|im_start|>user
Thanks!<|im_end|>
<|im_start|>assistant

curl -s http://localhost:11434/api/chat -d '{"model":"MODEL","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"What is the weather in Tokyo?"},{"role":"assistant","content":"","tool_calls":[{"function":{"name":"get_weather","arguments":{"city":"Tokyo"}}}]},{"role":"tool","content":"{\"temperature\": 20}","tool_name":"get_weather"},{"role":"assistant","content":"It is 20°C in Tokyo."},{"role":"user","content":"Thanks!"}],"tools":[{"type":"function","function":{"name":"get_weather","description":"Get the current weather for a city","parameters":{"type":"object","properties":{"city":{"type":"string","description":"City name"}},"required":["city"]}}}],"stream":false,"_debug_render_only":true}'

Ollama macht aus einem Gespräch den Text, den ein Modell liest, mit dem TEMPLATE des Modells, geschrieben in der Template-Sprache von Go: {{ range .Messages }}, {{ .Role }}, {{ .Content }}, {{ if .Tools }} und so weiter. Ein kleiner Fehler, etwa ein fehlender Zeilenumbruch, ein {{-, das zu viel entfernt, oder ein Feldname, den es nicht gibt, verändert, was das Modell sieht, oder lässt jede Anfrage fehlschlagen. Dieses Tool führt Ihr Template so aus wie Ollama. Es folgt den Regeln von Go-text/template (Trim-Markierungen, Variablen, range, with, Vergleiche, printf, die Fehlermeldungen), übergibt dieselben Daten wie Ollama (System, Messages mit Role, Content, Thinking, ToolCalls, ToolName und ToolCallID, Tools, Think, ThinkLevel, IsThinkSet, Prompt, Suffix, Response) und kennt die zusätzlichen Funktionen von Ollama (json, currentDate, yesterdayDate, toTypeScriptType). Es übernimmt auch, wie Ollama die Daten aufbereitet: Systemnachrichten werden zu .System zusammengefügt, aufeinanderfolgende Nachrichten derselben Rolle werden mit einer Leerzeile verbunden, das SYSTEM des Modells wird hinzugefügt, wenn die erste Nachricht keine Systemnachricht ist, und Bilder werden zu [img-0], [img-1] und so weiter. Ein Template, das .Messages nie verwendet, läuft auf die ältere Art, einmal pro Runde mit .Prompt und .Response, und Ollama fügt {{ .Response }} zu einem Template hinzu, das keines von beiden verwendet. Seit Ollama 0.40 kann ein Modell außerdem ein Chat-Template in seiner GGUF-Datei mitbringen (tokenizer.chat_template), und Ollama wählt eines der beiden danach, was jedes kann: tools, thinking und Fill-in-the-Middle. Fügen Sie das GGUF-Chat-Template unter „Erweitert“ ein, und das Tool sagt Ihnen, welches Ollama verwenden wird. Wir haben das Tool auf drei Arten geprüft: gegen das eigene text/template von Go (Go 1.26.6), das den Template-Code von Ollama ausführt, an 243 Fällen, darunter die 20 eingebauten Templates von Ollama, deren Testausgaben es trifft; gegen Ollama 0.40.11 auf diesem Computer mit 330 /api/generate-Anfragen; und mit 49 /api/chat-Anfragen an qwen2.5:7b und an Modelle, die wir mit eigenen TEMPLATEs erstellt haben. Die Ausgabe und die Fehlermeldungen stimmten überein.

Die Kernlogik dieses Tools ist Open Source unter der MIT-Lizenz. github.com/seigo5555/toolkitbox-lib/src/ollama-template.ts