~/tools / Pliki modeli i szablony czatu / Ollama Template Tester

Ollama Template Tester — Uruchom TEMPLATE Ollama i zobacz dokładny prompt

Wklej TEMPLATE modelu Ollama (z ollama show --template lub ze swojego Modelfile), dodaj rozmowę, tools albo prompt i zobacz dokładny tekst, który Ollama przekazuje modelowi: ze znacznikami specjalnymi, podziałami wierszy i wszystkim innym. Narzędzie uruchamia szablon tak jak Ollama, według reguł szablonów Go, na danych Ollama (wiadomości, wywołania narzędzi, tools, think) i na trzy sposoby, na jakie Ollama uruchamia szablon. Mówi też, czy Ollama w ogóle użyje Twojego TEMPLATE, czy szablonu czatu z pliku GGUF, oraz kiedy Ollama odrzuci żądanie z tools lub thinking. Nic nie opuszcza Twojej przeglądarki.

<|im_start|>system
You are a helpful assistant.

# Tools

You may call one or more functions to assist with the user query.

You are provided with function signatures within <tools></tools> XML tags:
<tools>
{"type": "function", "function": {get_weather Get the current weather for a city {object <nil> <nil> [city] {"city":{"type":"string","description":"City name"}}}}}
</tools>

For each function call, return a json object with function name and arguments within <tool_call></tool_call> XML tags:
<tool_call>
{"name": <function-name>, "arguments": <args-json-object>}
</tool_call><|im_end|>
<|im_start|>user
What is the weather in Tokyo?<|im_end|>
<|im_start|>assistant
<tool_call>
{"name": "get_weather", "arguments": {"city":"Tokyo"}}
</tool_call><|im_end|>
<|im_start|>user
<tool_response>
{"temperature": 20}
</tool_response><|im_end|>
<|im_start|>assistant
It is 20°C in Tokyo.<|im_end|>
<|im_start|>user
Thanks!<|im_end|>
<|im_start|>assistant

curl -s http://localhost:11434/api/chat -d '{"model":"MODEL","messages":[{"role":"system","content":"You are a helpful assistant."},{"role":"user","content":"What is the weather in Tokyo?"},{"role":"assistant","content":"","tool_calls":[{"function":{"name":"get_weather","arguments":{"city":"Tokyo"}}}]},{"role":"tool","content":"{\"temperature\": 20}","tool_name":"get_weather"},{"role":"assistant","content":"It is 20°C in Tokyo."},{"role":"user","content":"Thanks!"}],"tools":[{"type":"function","function":{"name":"get_weather","description":"Get the current weather for a city","parameters":{"type":"object","properties":{"city":{"type":"string","description":"City name"}},"required":["city"]}}}],"stream":false,"_debug_render_only":true}'

Ollama zamienia rozmowę w tekst, który czyta model, za pomocą TEMPLATE modelu, zapisanego w języku szablonów Go: {{ range .Messages }}, {{ .Role }}, {{ .Content }}, {{ if .Tools }} i tak dalej. Drobny błąd, taki jak brakujący podział wiersza, {{- które obcina za dużo, albo nazwa pola, która nie istnieje, zmienia to, co widzi model, albo sprawia, że każde żądanie kończy się błędem. To narzędzie uruchamia Twój szablon tak jak Ollama. Stosuje reguły Go text/template (znaczniki przycinania, zmienne, range, with, porównania, printf, komunikaty o błędach), przekazuje te same dane co Ollama (System, Messages z Role, Content, Thinking, ToolCalls, ToolName i ToolCallID, Tools, Think, ThinkLevel, IsThinkSet, Prompt, Suffix, Response) i ma dodatkowe funkcje Ollama (json, currentDate, yesterdayDate, toTypeScriptType). Odtwarza też to, jak Ollama przygotowuje dane: komunikaty systemowe są łączone w .System, kolejne wiadomości tej samej roli są łączone pustym wierszem, SYSTEM modelu jest dodawany, gdy pierwsza wiadomość nie jest komunikatem systemowym, a obrazy zamieniają się w [img-0], [img-1] i tak dalej. Szablon, który nigdy nie używa .Messages, działa po staremu, raz na turę z .Prompt i .Response, a Ollama dopisuje {{ .Response }} do szablonu, który nie używa żadnego z nich. Od Ollama 0.40 model może też mieć szablon czatu w pliku GGUF (tokenizer.chat_template), a Ollama wybiera jeden z dwóch według tego, co każdy potrafi: tools, thinking i uzupełnianie w środku (fill-in-the-middle). Wklej szablon czatu z GGUF w sekcji „Zaawansowane”, a narzędzie powie, którego Ollama użyje. Sprawdziliśmy narzędzie na trzy sposoby: z własnym text/template Go (Go 1.26.6) uruchamiającym kod szablonów Ollama na 243 przypadkach, w tym na 20 wbudowanych szablonach Ollama, których wyniki testów odtwarza; z Ollama 0.40.11 na tym komputerze na 330 żądaniach /api/generate; oraz na 49 żądaniach /api/chat do qwen2.5:7b i do modeli, które zrobiliśmy z własnymi TEMPLATE. Wynik i komunikaty o błędach się zgadzały.

Główna logika tego narzędzia jest otwartoźródłowa, na licencji MIT. github.com/seigo5555/toolkitbox-lib/src/ollama-template.ts