~/tools / File di modello e chat template / Ollama Template Tester

Ollama Template Tester — Esegui un TEMPLATE di Ollama e vedi il prompt esatto

Incolla il TEMPLATE di un modello Ollama (da ollama show --template o dal tuo Modelfile), aggiungi una conversazione, degli strumenti o un prompt, e vedi il testo esatto che Ollama consegna al modello: token speciali, a capo e tutto il resto. Lo strumento esegue il template come fa Ollama, con le regole dei template di Go, i dati di Ollama (messaggi, tool call, strumenti, think) e i suoi tre modi di eseguire un template. Dice anche se Ollama userà il tuo TEMPLATE o il chat template contenuto nel file GGUF, e quando Ollama rifiuta una richiesta con strumenti o con thinking. Nulla lascia il tuo browser.

<|im_start|>system
You are a helpful assistant.

# Tools

You may call one or more functions to assist with the user query.

You are provided with function signatures within <tools></tools> XML tags:
<tools>
{"type": "function", "function": {get_weather Get the current weather for a city {object <nil> <nil> [city] {"city":{"type":"string","description":"City name"}}}}}
</tools>

For each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:
<tool_call>
{"name": <function-name>, "arguments": <args-json-object>}
</tool_call><|im_end|>
<|im_start|>user
What is the weather in Tokyo?<|im_end|>
<|im_start|>assistant
<tool_call>
{"name": "get_weather", "arguments": {"city":"Tokyo"}}
</tool_call><|im_end|>
<|im_start|>user
<tool_response>
{"temperature": 20}
</tool_response><|im_end|>
<|im_start|>assistant
It is 20°C in Tokyo.<|im_end|>
<|im_start|>user
Thanks!<|im_end|>
<|im_start|>assistant

curl -s http://localhost:11434/api/chat -d '{"model":"MODEL","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"What is the weather in Tokyo?"},{"role":"assistant","content":"","tool_calls":[{"function":{"name":"get_weather","arguments":{"city":"Tokyo"}}}]},{"role":"tool","content":"{\"temperature\": 20}","tool_name":"get_weather"},{"role":"assistant","content":"It is 20°C in Tokyo."},{"role":"user","content":"Thanks!"}],"tools":[{"type":"function","function":{"name":"get_weather","description":"Get the current weather for a city","parameters":{"type":"object","properties":{"city":{"type":"string","description":"City name"}},"required":["city"]}}}],"stream":false,"_debug_render_only":true}'

Ollama trasforma una conversazione nel testo che legge un modello con il TEMPLATE del modello, scritto nel linguaggio di template di Go: {{ range .Messages }}, {{ .Role }}, {{ .Content }}, {{ if .Tools }} e così via. Un piccolo errore, come un a capo mancante, un {{- che taglia troppo o un nome di campo che non esiste, cambia ciò che vede il modello o fa fallire ogni richiesta. Questo strumento esegue il tuo template come fa Ollama. Segue le regole di text/template di Go (marcatori di taglio, variabili, range, with, confronti, printf, i messaggi di errore), passa gli stessi dati che passa Ollama (System, Messages con Role, Content, Thinking, ToolCalls, ToolName e ToolCallID, Tools, Think, ThinkLevel, IsThinkSet, Prompt, Suffix, Response) e ha le funzioni aggiuntive di Ollama (json, currentDate, yesterdayDate, toTypeScriptType). Copia anche il modo in cui Ollama prepara i dati: i messaggi di sistema vengono uniti in .System, i messaggi consecutivi dello stesso ruolo vengono uniti con una riga vuota, il SYSTEM del modello viene aggiunto quando il primo messaggio non è un messaggio di sistema, e le immagini diventano [img-0], [img-1] e così via. Un template che non usa mai .Messages viene eseguito alla vecchia maniera, una volta per turno con .Prompt e .Response, e Ollama aggiunge {{ .Response }} a un template che non usa né l'uno né l'altro. Da Ollama 0.40, un modello può anche portare un chat template dentro il suo file GGUF (tokenizer.chat_template), e Ollama sceglie uno dei due in base a ciò che ciascuno sa fare: strumenti, thinking e fill-in-the-middle. Incolla il chat template del GGUF in Avanzate e lo strumento ti dice quale userà Ollama. Abbiamo verificato lo strumento in tre modi: con il text/template di Go stesso (Go 1.26.6) che esegue il codice dei template di Ollama su 243 casi, compresi i 20 template integrati di Ollama, di cui riproduce gli output di test; con Ollama 0.40.11 su questo computer, con 330 richieste a /api/generate; e con 49 richieste a /api/chat a qwen2.5:7b e a modelli che abbiamo creato con i nostri TEMPLATE. L'output e i messaggi di errore coincidevano.

La logica principale di questo strumento è open source, con licenza MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-template.ts