~/tools / Файлы моделей и шаблоны чата / Ollama Template Tester

Ollama Template Tester — Выполните TEMPLATE Ollama и увидите точный промпт

Вставьте TEMPLATE модели Ollama (из ollama show --template или из вашего Modelfile), добавьте диалог, tools или промпт и увидите точный текст, который Ollama передаёт модели: со специальными токенами, переводами строк и всем остальным. Инструмент выполняет шаблон так, как это делает Ollama: по правилам шаблонов Go, на данных Ollama (сообщения, вызовы инструментов, tools, think) и тремя способами, которыми Ollama запускает шаблон. Он также показывает, будет ли Ollama вообще использовать ваш TEMPLATE или чат-шаблон из файла GGUF, и когда Ollama отклонит запрос с tools или thinking. Ничего не покидает ваш браузер.

<|im_start|>system
You are a helpful assistant.

# Tools

You may call one or more functions to assist with the user query.

You are provided with function signatures within <tools></tools> XML tags:
<tools>
{"type": "function", "function": {get_weather Get the current weather for a city {object <nil> <nil> [city] {"city":{"type":"string","description":"City name"}}}}}
</tools>

For each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:
<tool_call>
{"name": <function-name>, "arguments": <args-json-object>}
</tool_call><|im_end|>
<|im_start|>user
What is the weather in Tokyo?<|im_end|>
<|im_start|>assistant
<tool_call>
{"name": "get_weather", "arguments": {"city":"Tokyo"}}
</tool_call><|im_end|>
<|im_start|>user
<tool_response>
{"temperature": 20}
</tool_response><|im_end|>
<|im_start|>assistant
It is 20°C in Tokyo.<|im_end|>
<|im_start|>user
Thanks!<|im_end|>
<|im_start|>assistant

curl -s http://localhost:11434/api/chat -d '{"model":"MODEL","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"What is the weather in Tokyo?"},{"role":"assistant","content":"","tool_calls":[{"function":{"name":"get_weather","arguments":{"city":"Tokyo"}}}]},{"role":"tool","content":"{\"temperature\": 20}","tool_name":"get_weather"},{"role":"assistant","content":"It is 20°C in Tokyo."},{"role":"user","content":"Thanks!"}],"tools":[{"type":"function","function":{"name":"get_weather","description":"Get the current weather for a city","parameters":{"type":"object","properties":{"city":{"type":"string","description":"City name"}},"required":["city"]}}}],"stream":false,"_debug_render_only":true}'

Ollama превращает диалог в текст, который читает модель, с помощью TEMPLATE модели, написанного на языке шаблонов Go: {{ range .Messages }}, {{ .Role }}, {{ .Content }}, {{ if .Tools }} и так далее. Небольшая ошибка, например пропущенный перевод строки, {{-, которое обрезает слишком много, или имя поля, которого не существует, меняет то, что видит модель, или приводит к ошибке в каждом запросе. Этот инструмент выполняет ваш шаблон так, как это делает Ollama. Он следует правилам Go text/template (маркеры обрезки, переменные, range, with, сравнения, printf, сообщения об ошибках), передаёт те же данные, что и Ollama (System, Messages с Role, Content, Thinking, ToolCalls, ToolName и ToolCallID, Tools, Think, ThinkLevel, IsThinkSet, Prompt, Suffix, Response), и имеет дополнительные функции Ollama (json, currentDate, yesterdayDate, toTypeScriptType). Он повторяет и то, как Ollama готовит данные: системные сообщения объединяются в .System, подряд идущие сообщения одной роли соединяются пустой строкой, SYSTEM модели добавляется, если первое сообщение не системное, а изображения превращаются в [img-0], [img-1] и так далее. Шаблон, который нигде не использует .Messages, выполняется по-старому, один раз на каждый ход с .Prompt и .Response, а Ollama добавляет {{ .Response }} к шаблону, который не использует ни то ни другое. Начиная с Ollama 0.40, модель может нести ещё и чат-шаблон внутри файла GGUF (tokenizer.chat_template), и Ollama выбирает один из двух по тому, что умеет каждый: tools, thinking и дополнение в середине (fill-in-the-middle). Вставьте чат-шаблон GGUF в разделе «Дополнительно», и инструмент скажет, какой из них будет использовать Ollama. Мы проверили инструмент тремя способами: по собственному text/template из Go (Go 1.26.6), выполняющему код шаблонов Ollama, на 243 случаях, включая 20 встроенных шаблонов Ollama, результаты тестов которых он воспроизводит; по Ollama 0.40.11 на этом компьютере на 330 запросах /api/generate; и на 49 запросах /api/chat к qwen2.5:7b и к моделям, которые мы создали со своими TEMPLATE. Вывод и сообщения об ошибках совпали.

Основная логика этого инструмента открыта под лицензией MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-template.ts