~/tools / Tệp mô hình và mẫu chat / Ollama Template Tester

Ollama Template Tester — Chạy TEMPLATE của Ollama và xem chính xác prompt

Dán TEMPLATE của một mô hình Ollama (từ ollama show --template hoặc Modelfile của bạn), thêm một cuộc hội thoại, tools hoặc một prompt, và xem chính xác đoạn văn bản mà Ollama đưa cho mô hình: cả token đặc biệt lẫn ngắt dòng. Công cụ chạy template giống cách Ollama làm, với quy tắc template của Go, dữ liệu của Ollama (messages, tool calls, tools, think) và ba cách Ollama chạy một template. Nó cũng cho bạn biết Ollama có dùng TEMPLATE của bạn hay dùng chat template bên trong tệp GGUF, và khi nào Ollama từ chối một yêu cầu có tools hoặc thinking. Không có gì rời khỏi trình duyệt của bạn.

<|im_start|>system
You are a helpful assistant.

# Tools

You may call one or more functions to assist with the user query.

You are provided with function signatures within <tools></tools> XML tags:
<tools>
{"type": "function", "function": {get_weather Get the current weather for a city {object <nil> <nil> [city] {"city":{"type":"string","description":"City name"}}}}}
</tools>

For each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:
<tool_call>
{"name": <function-name>, "arguments": <args-json-object>}
</tool_call><|im_end|>
<|im_start|>user
What is the weather in Tokyo?<|im_end|>
<|im_start|>assistant
<tool_call>
{"name": "get_weather", "arguments": {"city":"Tokyo"}}
</tool_call><|im_end|>
<|im_start|>user
<tool_response>
{"temperature": 20}
</tool_response><|im_end|>
<|im_start|>assistant
It is 20°C in Tokyo.<|im_end|>
<|im_start|>user
Thanks!<|im_end|>
<|im_start|>assistant

curl -s http://localhost:11434/api/chat -d '{"model":"MODEL","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"What is the weather in Tokyo?"},{"role":"assistant","content":"","tool_calls":[{"function":{"name":"get_weather","arguments":{"city":"Tokyo"}}}]},{"role":"tool","content":"{\"temperature\": 20}","tool_name":"get_weather"},{"role":"assistant","content":"It is 20°C in Tokyo."},{"role":"user","content":"Thanks!"}],"tools":[{"type":"function","function":{"name":"get_weather","description":"Get the current weather for a city","parameters":{"type":"object","properties":{"city":{"type":"string","description":"City name"}},"required":["city"]}}}],"stream":false,"_debug_render_only":true}'

Ollama biến một cuộc hội thoại thành văn bản mà mô hình đọc bằng TEMPLATE của mô hình, được viết bằng ngôn ngữ template của Go: {{ range .Messages }}, {{ .Role }}, {{ .Content }}, {{ if .Tools }} và nhiều thứ khác. Một lỗi nhỏ, chẳng hạn thiếu một ngắt dòng, một {{- cắt quá nhiều hoặc một tên trường không tồn tại, sẽ làm thay đổi những gì mô hình nhìn thấy hoặc khiến mọi yêu cầu đều thất bại. Công cụ này chạy template của bạn giống cách Ollama làm. Nó tuân theo quy tắc text/template của Go (dấu cắt khoảng trắng, biến, range, with, phép so sánh, printf, các thông báo lỗi), truyền cùng dữ liệu mà Ollama truyền (System, Messages với Role, Content, Thinking, ToolCalls, ToolName và ToolCallID, Tools, Think, ThinkLevel, IsThinkSet, Prompt, Suffix, Response) và có các hàm bổ sung của Ollama (json, currentDate, yesterdayDate, toTypeScriptType). Nó cũng sao chép cách Ollama chuẩn bị dữ liệu: các system message được gộp vào .System, các message liên tiếp của cùng một role được nối bằng một dòng trống, SYSTEM của mô hình được thêm vào khi message đầu tiên không phải là system message, và hình ảnh trở thành [img-0], [img-1] và cứ thế. Một template không bao giờ dùng .Messages sẽ chạy theo cách cũ, mỗi lượt một lần với .Prompt và .Response, và với một template không dùng cả hai thì Ollama thêm {{ .Response }}. Từ Ollama 0.40, một mô hình cũng có thể mang chat template bên trong tệp GGUF (tokenizer.chat_template), và Ollama chọn một trong hai tùy theo mỗi bên làm được gì: tools, thinking và fill-in-the-middle. Hãy dán chat template của GGUF vào phần Nâng cao và công cụ sẽ cho bạn biết Ollama dùng cái nào. Chúng tôi đã kiểm tra công cụ theo ba cách: so với text/template của chính Go (Go 1.26.6) chạy mã template của Ollama trên 243 trường hợp, trong đó có 20 template có sẵn của Ollama, với kết quả kiểm thử của chúng mà công cụ khớp; so với Ollama 0.40.11 trên máy tính này với 330 yêu cầu /api/generate; và với 49 yêu cầu /api/chat tới qwen2.5:7b và tới các mô hình do chúng tôi tạo bằng TEMPLATE của riêng mình. Đầu ra và các thông báo lỗi đều khớp.

Phần xử lý chính của công cụ này là mã nguồn mở theo giấy phép MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-template.ts