~/tools / Arquivos de modelo e templates de chat / Ollama Template Tester

Ollama Template Tester — Execute um TEMPLATE do Ollama e veja o prompt exato

Cole o TEMPLATE de um modelo do Ollama (de ollama show --template ou do seu Modelfile), adicione uma conversa, ferramentas ou um prompt, e veja o texto exato que o Ollama entrega ao modelo: tokens especiais, quebras de linha e tudo. A ferramenta executa o template como o Ollama faz, com as regras de templates do Go, os dados do Ollama (mensagens, tool calls, ferramentas, think) e suas três formas de executar um template. Ela também diz se o Ollama vai usar o seu TEMPLATE ou o template de chat que está dentro do arquivo GGUF, e quando o Ollama recusa uma requisição com ferramentas ou com thinking. Nada sai do seu navegador.

<|im_start|>system
You are a helpful assistant.

# Tools

You may call one or more functions to assist with the user query.

You are provided with function signatures within <tools></tools> XML tags:
<tools>
{"type": "function", "function": {get_weather Get the current weather for a city {object <nil> <nil> [city] {"city":{"type":"string","description":"City name"}}}}}
</tools>

For each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:
<tool_call>
{"name": <function-name>, "arguments": <args-json-object>}
</tool_call><|im_end|>
<|im_start|>user
What is the weather in Tokyo?<|im_end|>
<|im_start|>assistant
<tool_call>
{"name": "get_weather", "arguments": {"city":"Tokyo"}}
</tool_call><|im_end|>
<|im_start|>user
<tool_response>
{"temperature": 20}
</tool_response><|im_end|>
<|im_start|>assistant
It is 20°C in Tokyo.<|im_end|>
<|im_start|>user
Thanks!<|im_end|>
<|im_start|>assistant

curl -s http://localhost:11434/api/chat -d '{"model":"MODEL","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"What is the weather in Tokyo?"},{"role":"assistant","content":"","tool_calls":[{"function":{"name":"get_weather","arguments":{"city":"Tokyo"}}}]},{"role":"tool","content":"{\"temperature\": 20}","tool_name":"get_weather"},{"role":"assistant","content":"It is 20°C in Tokyo."},{"role":"user","content":"Thanks!"}],"tools":[{"type":"function","function":{"name":"get_weather","description":"Get the current weather for a city","parameters":{"type":"object","properties":{"city":{"type":"string","description":"City name"}},"required":["city"]}}}],"stream":false,"_debug_render_only":true}'

O Ollama transforma uma conversa no texto que um modelo lê usando o TEMPLATE do modelo, escrito na linguagem de templates do Go: {{ range .Messages }}, {{ .Role }}, {{ .Content }}, {{ if .Tools }} e assim por diante. Um erro pequeno, como uma quebra de linha que falta, um {{- que corta demais ou um nome de campo que não existe, muda o que o modelo vê ou faz todas as requisições falharem. Esta ferramenta executa o seu template como o Ollama faz. Ela segue as regras do text/template do Go (marcadores de corte, variáveis, range, with, comparações, printf, as mensagens de erro), passa os mesmos dados que o Ollama passa (System, Messages com Role, Content, Thinking, ToolCalls, ToolName e ToolCallID, Tools, Think, ThinkLevel, IsThinkSet, Prompt, Suffix, Response) e tem as funções extras do Ollama (json, currentDate, yesterdayDate, toTypeScriptType). Também copia como o Ollama prepara os dados: as mensagens de sistema são unidas em .System, mensagens consecutivas do mesmo papel são unidas com uma linha em branco, o SYSTEM do modelo é adicionado quando a primeira mensagem não é uma mensagem de sistema, e as imagens viram [img-0], [img-1] e assim por diante. Um template que nunca usa .Messages é executado da maneira antiga, uma vez por turno com .Prompt e .Response, e o Ollama adiciona {{ .Response }} a um template que não usa nenhum dos dois. Desde o Ollama 0.40, um modelo também pode trazer um template de chat dentro do seu arquivo GGUF (tokenizer.chat_template), e o Ollama escolhe um dos dois pelo que cada um consegue fazer: ferramentas, thinking e fill-in-the-middle. Cole o template de chat do GGUF em Avançado e a ferramenta diz qual o Ollama vai usar. Verificamos a ferramenta de três maneiras: com o text/template do próprio Go (Go 1.26.6) executando o código de templates do Ollama em 243 casos, incluindo os 20 templates embutidos do Ollama, cujos resultados de teste ela reproduz; com o Ollama 0.40.11 neste computador, com 330 requisições a /api/generate; e com 49 requisições a /api/chat para o qwen2.5:7b e para modelos que fizemos com nossos próprios TEMPLATE. A saída e as mensagens de erro coincidiram.

A lógica principal desta ferramenta é de código aberto, sob a licença MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-template.ts