~/tools / Pliki modeli i szablony czatu / Hugging Face Chat Template Tester

Hugging Face Chat Template Tester — Wyrenderuj szablon czatu Hugging Face i zobacz dokładny prompt

Wklej szablon czatu Hugging Face (Jinja) albo cały plik tokenizer_config.json modelu, dodaj messages i tools i zobacz dokładny tekst promptu, który tworzy apply_chat_template(..., tokenize=False) z transformers. Narzędzie uruchamia Jinja2 z tymi samymi ustawieniami piaskownicy co transformers, więc tekst, błędy i numery ich wierszy są takie same jak w Pythonie. Nic nie opuszcza Twojej przeglądarki.

<|im_start|>system
You are a helpful assistant.

# Tools

You can call these functions:
<tools>
{"type": "function", "function": {"name": "get_weather", "description": "Get the current weather in a city.", "parameters": {"type": "object", "properties": {"city": {"type": "string", "description": "City name"}}, "required": ["city"]}}}
</tools>

To call one, reply with JSON inside <tool_call></tool_call>.<|im_end|>
<|im_start|>user
What's the weather in Paris?<|im_end|>
<|im_start|>assistant

<tool_call>
{"name": "get_weather", "arguments": {"city": "Paris"}}
</tool_call><|im_end|>
<|im_start|>user
<tool_response>
{"temperature": 22}
</tool_response><|im_end|>
<|im_start|>assistant

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("MODEL_ID")
messages = [
    {'role': 'system', 'content': 'You are a helpful assistant.'},
    {'role': 'user', 'content': "What's the weather in Paris?"},
    {'role': 'assistant', 'content': '', 'tool_calls': [{'type': 'function', 'function': {'name': 'get_weather', 'arguments': {'city': 'Paris'}}}]},
    {'role': 'tool', 'name': 'get_weather', 'content': '{"temperature": 22}'},
]
tools = [
    {'type': 'function', 'function': {'name': 'get_weather', 'description': 'Get the current weather in a city.', 'parameters': {'type': 'object', 'properties': {'city': {'type': 'string', 'description': 'City name'}}, 'required': ['city']}}},
]
text = tokenizer.apply_chat_template(
    messages,
    tools=tools,
    add_generation_prompt=True,
    tokenize=False,
)
print(text)

Większość otwartych modeli na Hugging Face ma w komplecie szablon czatu: mały program w Jinja, który zamienia listę wiadomości w tekst, jaki model faktycznie czyta. Brakująca spacja, podwójny token BOS albo błędny prompt generowania zmienia to, co widzi model, a szablon trudno czytać bez uruchomienia. To narzędzie uruchamia go tak, jak robi to transformers. Przeportowaliśmy Jinja2 3.1.6 do JavaScriptu: jego lekser, parser, reguły określające, które zmienne są gdzie widoczne, constant folding, piaskownicę używaną przez transformers oraz wszystkie wbudowane filtry i testy, razem z zachowaniem samego Pythona dla ciągów znaków, liczb, sortowania i komunikatów o błędach. Na tej podstawie narzędzie podąża za apply_chat_template w transformers 5.22.2: tokeny specjalne takie jak bos_token, szablon tool_use, gdy podano tools, add_generation_prompt, continue_final_message, documents, reasoning_content i fragmenty {% generation %}. Wyrenderowaliśmy szablony czatu 39 otwartych modeli (Qwen, Llama, Mistral, Gemma, Phi, DeepSeek, gpt-oss i innych) w 15 rodzajach rozmów i wszystkie 585 wyników zgadzało się z transformers. Ponad 20 000 innych szablonów testowych też się zgadzało, wraz z błędami i numerami wierszy, z wyjątkiem kilku, które używają filtra random, którego wynik w Pythonie również jest losowy.