~/tools / Modelldateien und Chat-Templates / Hugging Face Chat Template Tester

Hugging Face Chat Template Tester — Ein Hugging Face Chat-Template rendern und den genauen Prompt sehen

Fügen Sie ein Hugging Face Chat-Template (Jinja) oder die komplette tokenizer_config.json eines Modells ein, ergänzen Sie messages und tools und sehen Sie genau den Prompt-Text, den apply_chat_template(..., tokenize=False) von transformers erzeugt. Das Tool führt Jinja2 mit denselben Sandbox-Einstellungen aus wie transformers, sodass Text, Fehler und deren Zeilennummern mit Python übereinstimmen. Nichts verlässt Ihren Browser.

<|im_start|>system
You are a helpful assistant.

# Tools

You can call these functions:
<tools>
{"type": "function", "function": {"name": "get_weather", "description": "Get the current weather in a city.", "parameters": {"type": "object", "properties": {"city": {"type": "string", "description": "City name"}}, "required": ["city"]}}}
</tools>

To call one, reply with JSON inside <tool_call></tool_call>.<|im_end|>
<|im_start|>user
What's the weather in Paris?<|im_end|>
<|im_start|>assistant

<tool_call>
{"name": "get_weather", "arguments": {"city": "Paris"}}
</tool_call><|im_end|>
<|im_start|>user
<tool_response>
{"temperature": 22}
</tool_response><|im_end|>
<|im_start|>assistant

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("MODEL_ID")
messages = [
    {'role': 'system', 'content': 'You are a helpful assistant.'},
    {'role': 'user', 'content': "What's the weather in Paris?"},
    {'role': 'assistant', 'content': '', 'tool_calls': [{'type': 'function', 'function': {'name': 'get_weather', 'arguments': {'city': 'Paris'}}}]},
    {'role': 'tool', 'name': 'get_weather', 'content': '{"temperature": 22}'},
]
tools = [
    {'type': 'function', 'function': {'name': 'get_weather', 'description': 'Get the current weather in a city.', 'parameters': {'type': 'object', 'properties': {'city': {'type': 'string', 'description': 'City name'}}, 'required': ['city']}}},
]
text = tokenizer.apply_chat_template(
    messages,
    tools=tools,
    add_generation_prompt=True,
    tokenize=False,
)
print(text)

Die meisten offenen Modelle auf Hugging Face liefern ein Chat-Template mit: ein kleines Jinja-Programm, das eine Liste von Nachrichten in den Text umwandelt, den das Modell tatsächlich liest. Ein fehlendes Leerzeichen, ein doppeltes BOS-Token oder ein falscher Generation-Prompt verändert, was das Modell sieht, und das Template ist ohne Ausführen schwer zu lesen. Dieses Tool führt es so aus wie transformers. Wir haben Jinja2 3.1.6 nach JavaScript portiert: den Lexer, den Parser, die Regeln dafür, welche Variablen wo sichtbar sind, das Constant Folding, die Sandbox, die transformers verwendet, und alle eingebauten Filter und Tests, zusammen mit dem Verhalten von Python selbst bei Zeichenketten, Zahlen, Sortierung und Fehlermeldungen. Darauf aufbauend folgt es apply_chat_template in transformers 5.22.2: Spezial-Tokens wie bos_token, das Template tool_use, wenn tools angegeben sind, add_generation_prompt, continue_final_message, documents, reasoning_content und die {% generation %}-Abschnitte. Wir haben die Chat-Templates von 39 offenen Modellen (Qwen, Llama, Mistral, Gemma, Phi, DeepSeek, gpt-oss und weiteren) mit 15 Arten von Gesprächen gerendert, und alle 585 Ergebnisse stimmten mit transformers überein. Mehr als 20.000 weitere Test-Templates stimmten ebenfalls überein, einschließlich Fehlern und Zeilennummern, bis auf wenige, die den Filter random verwenden, dessen Ergebnis auch in Python zufällig ist.