~/tools / Archivos de modelo y plantillas de chat / Hugging Face Chat Template Tester

Hugging Face Chat Template Tester — Renderiza una plantilla de chat de Hugging Face y ve el prompt exacto

Pega una plantilla de chat de Hugging Face (Jinja) o el tokenizer_config.json completo de un modelo, añade messages y tools, y mira el texto exacto del prompt que produce apply_chat_template(..., tokenize=False) de transformers. La herramienta ejecuta Jinja2 con la misma configuración de sandbox que transformers, así que el texto, los errores y sus números de línea son los mismos que en Python. Nada sale de tu navegador.

<|im_start|>system
You are a helpful assistant.

# Tools

You can call these functions:
<tools>
{"type": "function", "function": {"name": "get_weather", "description": "Get the current weather in a city.", "parameters": {"type": "object", "properties": {"city": {"type": "string", "description": "City name"}}, "required": ["city"]}}}
</tools>

To call one, reply with JSON inside <tool_call></tool_call>.<|im_end|>
<|im_start|>user
What's the weather in Paris?<|im_end|>
<|im_start|>assistant

<tool_call>
{"name": "get_weather", "arguments": {"city": "Paris"}}
</tool_call><|im_end|>
<|im_start|>user
<tool_response>
{"temperature": 22}
</tool_response><|im_end|>
<|im_start|>assistant

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("MODEL_ID")
messages = [
    {'role': 'system', 'content': 'You are a helpful assistant.'},
    {'role': 'user', 'content': "What's the weather in Paris?"},
    {'role': 'assistant', 'content': '', 'tool_calls': [{'type': 'function', 'function': {'name': 'get_weather', 'arguments': {'city': 'Paris'}}}]},
    {'role': 'tool', 'name': 'get_weather', 'content': '{"temperature": 22}'},
]
tools = [
    {'type': 'function', 'function': {'name': 'get_weather', 'description': 'Get the current weather in a city.', 'parameters': {'type': 'object', 'properties': {'city': {'type': 'string', 'description': 'City name'}}, 'required': ['city']}}},
]
text = tokenizer.apply_chat_template(
    messages,
    tools=tools,
    add_generation_prompt=True,
    tokenize=False,
)
print(text)

La mayoría de los modelos abiertos de Hugging Face incluyen una plantilla de chat: un pequeño programa Jinja que convierte una lista de mensajes en el texto que el modelo lee de verdad. Un espacio que falta, un BOS duplicado o un prompt de generación incorrecto cambian lo que ve el modelo, y la plantilla es difícil de leer sin ejecutarla. Esta herramienta la ejecuta como lo hace transformers. Portamos Jinja2 3.1.6 a JavaScript: su analizador léxico, su analizador sintáctico, las reglas de qué variables son visibles y dónde, el plegado de constantes, el sandbox que usa transformers y todos los filtros y tests integrados, junto con el comportamiento propio de Python para cadenas, números, ordenación y mensajes de error. Encima de eso sigue apply_chat_template de transformers 5.22.2: tokens especiales como bos_token, la plantilla tool_use cuando se dan tools, add_generation_prompt, continue_final_message, documents, reasoning_content y los tramos {% generation %}. Renderizamos las plantillas de chat de 39 modelos abiertos (Qwen, Llama, Mistral, Gemma, Phi, DeepSeek, gpt-oss y otros) con 15 tipos de conversaciones, y los 585 resultados coincidieron con transformers. Más de 20.000 plantillas de prueba adicionales también coincidieron, incluidos los errores y los números de línea, salvo unas pocas que usan el filtro random, cuyo resultado también es aleatorio en Python.