~/tools / File model dan templat obrolan / Ollama Template Tester

Ollama Template Tester — Jalankan TEMPLATE Ollama dan lihat prompt persisnya

Tempel TEMPLATE sebuah model Ollama (dari ollama show --template atau Modelfile Anda), tambahkan percakapan, tools, atau prompt, dan lihat teks persis yang diberikan Ollama kepada model: termasuk token khusus dan baris barunya. Alat ini menjalankan template seperti yang dilakukan Ollama, dengan aturan template Go, data Ollama (messages, tool calls, tools, think), dan tiga cara Ollama menjalankan template. Alat ini juga memberi tahu apakah Ollama akan memakai TEMPLATE Anda atau chat template di dalam file GGUF, dan kapan Ollama menolak permintaan dengan tools atau thinking. Tidak ada yang keluar dari browser Anda.

<|im_start|>system
You are a helpful assistant.

# Tools

You may call one or more functions to assist with the user query.

You are provided with function signatures within <tools></tools> XML tags:
<tools>
{"type": "function", "function": {get_weather Get the current weather for a city {object <nil> <nil> [city] {"city":{"type":"string","description":"City name"}}}}}
</tools>

For each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:
<tool_call>
{"name": <function-name>, "arguments": <args-json-object>}
</tool_call><|im_end|>
<|im_start|>user
What is the weather in Tokyo?<|im_end|>
<|im_start|>assistant
<tool_call>
{"name": "get_weather", "arguments": {"city":"Tokyo"}}
</tool_call><|im_end|>
<|im_start|>user
<tool_response>
{"temperature": 20}
</tool_response><|im_end|>
<|im_start|>assistant
It is 20°C in Tokyo.<|im_end|>
<|im_start|>user
Thanks!<|im_end|>
<|im_start|>assistant

curl -s http://localhost:11434/api/chat -d '{"model":"MODEL","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"What is the weather in Tokyo?"},{"role":"assistant","content":"","tool_calls":[{"function":{"name":"get_weather","arguments":{"city":"Tokyo"}}}]},{"role":"tool","content":"{\"temperature\": 20}","tool_name":"get_weather"},{"role":"assistant","content":"It is 20°C in Tokyo."},{"role":"user","content":"Thanks!"}],"tools":[{"type":"function","function":{"name":"get_weather","description":"Get the current weather for a city","parameters":{"type":"object","properties":{"city":{"type":"string","description":"City name"}},"required":["city"]}}}],"stream":false,"_debug_render_only":true}'

Ollama mengubah percakapan menjadi teks yang dibaca model dengan TEMPLATE milik model, yang ditulis dalam bahasa template Go: {{ range .Messages }}, {{ .Role }}, {{ .Content }}, {{ if .Tools }}, dan seterusnya. Kesalahan kecil, seperti baris baru yang hilang, {{- yang memangkas terlalu banyak, atau nama field yang tidak ada, mengubah apa yang dilihat model atau membuat setiap permintaan gagal. Alat ini menjalankan template Anda seperti yang dilakukan Ollama. Alat ini mengikuti aturan text/template Go (penanda pemangkas, variabel, range, with, perbandingan, printf, pesan error), meneruskan data yang sama seperti yang diteruskan Ollama (System, Messages dengan Role, Content, Thinking, ToolCalls, ToolName, dan ToolCallID, Tools, Think, ThinkLevel, IsThinkSet, Prompt, Suffix, Response) dan memiliki fungsi tambahan Ollama (json, currentDate, yesterdayDate, toTypeScriptType). Alat ini juga meniru cara Ollama menyiapkan data: system message digabung ke .System, message berurutan dari role yang sama digabung dengan baris kosong, SYSTEM milik model ditambahkan ketika message pertama bukan system message, dan gambar menjadi [img-0], [img-1], dan seterusnya. Template yang tidak pernah memakai .Messages berjalan dengan cara lama, sekali per giliran dengan .Prompt dan .Response, dan Ollama menambahkan {{ .Response }} ke template yang tidak memakai keduanya. Sejak Ollama 0.40, sebuah model juga dapat membawa chat template di dalam file GGUF-nya (tokenizer.chat_template), dan Ollama memilih salah satu dari keduanya berdasarkan apa yang bisa dilakukan masing-masing: tools, thinking, dan fill-in-the-middle. Tempel chat template GGUF di bagian Lanjutan dan alat ini memberi tahu mana yang akan dipakai Ollama. Kami memeriksa alat ini dengan tiga cara: terhadap text/template milik Go sendiri (Go 1.26.6) yang menjalankan kode template Ollama pada 243 kasus, termasuk 20 template bawaan Ollama, yang keluaran ujinya cocok dengan alat ini; terhadap Ollama 0.40.11 di komputer ini dengan 330 permintaan /api/generate; dan dengan 49 permintaan /api/chat ke qwen2.5:7b dan ke model yang kami buat dengan TEMPLATE kami sendiri. Keluaran dan pesan error cocok.

Logika utama alat ini bersifat sumber terbuka dengan lisensi MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-template.ts