~/tools / Model dosyaları ve sohbet şablonları / Hugging Face Chat Template Tester

Hugging Face Chat Template Tester — Bir Hugging Face sohbet şablonunu işleyin, istemi olduğu gibi görün

Bir Hugging Face sohbet şablonunu (Jinja) ya da bir modelin tokenizer_config.json dosyasının tamamını yapıştırın, messages ve tools ekleyin ve transformers'ın apply_chat_template(..., tokenize=False) çağrısının ürettiği istem metnini olduğu gibi görün. Araç, Jinja2'yi transformers ile aynı korumalı ortam (sandbox) ayarlarıyla çalıştırır; böylece metin, hatalar ve satır numaraları Python'dakiyle aynıdır. Hiçbir şey tarayıcınızdan çıkmaz.

<|im_start|>system
You are a helpful assistant.

# Tools

You can call these functions:
<tools>
{"type": "function", "function": {"name": "get_weather", "description": "Get the current weather in a city.", "parameters": {"type": "object", "properties": {"city": {"type": "string", "description": "City name"}}, "required": ["city"]}}}
</tools>

To call one, reply with JSON inside <tool_call></tool_call>.<|im_end|>
<|im_start|>user
What's the weather in Paris?<|im_end|>
<|im_start|>assistant

<tool_call>
{"name": "get_weather", "arguments": {"city": "Paris"}}
</tool_call><|im_end|>
<|im_start|>user
<tool_response>
{"temperature": 22}
</tool_response><|im_end|>
<|im_start|>assistant

from transformers import AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained("MODEL_ID")
messages = [
    {'role': 'system', 'content': 'You are a helpful assistant.'},
    {'role': 'user', 'content': "What's the weather in Paris?"},
    {'role': 'assistant', 'content': '', 'tool_calls': [{'type': 'function', 'function': {'name': 'get_weather', 'arguments': {'city': 'Paris'}}}]},
    {'role': 'tool', 'name': 'get_weather', 'content': '{"temperature": 22}'},
]
tools = [
    {'type': 'function', 'function': {'name': 'get_weather', 'description': 'Get the current weather in a city.', 'parameters': {'type': 'object', 'properties': {'city': {'type': 'string', 'description': 'City name'}}, 'required': ['city']}}},
]
text = tokenizer.apply_chat_template(
    messages,
    tools=tools,
    add_generation_prompt=True,
    tokenize=False,
)
print(text)

Hugging Face üzerindeki açık modellerin çoğu bir sohbet şablonuyla gelir: bir mesaj listesini modelin gerçekten okuduğu metne çeviren küçük bir Jinja programı. Eksik bir boşluk, iki kez yazılmış bir BOS belirteci ya da yanlış bir üretim istemi (generation prompt) modelin gördüğünü değiştirir; şablon da çalıştırılmadan okunması zor bir şeydir. Bu araç onu transformers'ın yaptığı gibi çalıştırır. Jinja2 3.1.6'yı JavaScript'e taşıdık: sözcük çözümleyicisini (lexer), ayrıştırıcısını (parser), hangi değişkenin nerede görünür olduğuna dair kuralları, constant folding'i, transformers'ın kullandığı korumalı ortamı ve tüm yerleşik filtre ve testleri; bunlarla birlikte Python'un dizgiler, sayılar, sıralama ve hata iletileri konusundaki kendi davranışını da. Bunun üzerine apply_chat_template'i transformers 5.22.2'deki gibi izler: bos_token gibi özel belirteçler, tools verildiğinde tool_use şablonu, add_generation_prompt, continue_final_message, documents, reasoning_content ve {% generation %} aralıkları. 39 açık modelin sohbet şablonlarını 15 tür konuşmayla işledik ve 585 sonucun hepsi transformers ile eşleşti. 20.000'den fazla başka test şablonu da hatalar ve satır numaraları dahil eşleşti; yalnızca random filtresini kullanan birkaçı hariç, çünkü onun sonucu Python'da da rastgeledir.