~/ / 모델 파일과 채팅 템플릿
모델 파일과 채팅 템플릿
모델을 이루는 파일과, 대화를 프롬프트로 바꾸는 템플릿의 내부를 살펴보는 도구입니다. GGUF와 safetensors 헤더를 읽고, Hugging Face 채팅 템플릿을 transformers와 같은 방식으로 렌더링하며, Ollama Modelfile과 TEMPLATE을 작성하고 검사하고 테스트합니다.
사용하는 순서대로 정리한 도구
- GGUF 파일 열기: 양자화, 컨텍스트, 토크나이저, 텐서, KV 캐시GGUF Metadata ViewerGGUF 파일을 열어 양자화, 컨텍스트, 레이어, 토크나이저, 채팅 템플릿, 텐서, KV 캐시 확인
- safetensors 열기: 데이터 유형, 파라미터, 가중치 크기, KV 캐시Safetensors Metadata Viewersafetensors 파일 열기: 데이터 유형, 파라미터, 가중치 크기, 분할 모델 검사, KV 캐시
- Hugging Face 채팅 템플릿을 렌더링해 프롬프트를 확인Hugging Face Chat Template Tester채팅 템플릿을 apply_chat_template와 똑같이 렌더링: 프롬프트 텍스트, 변수, 오류
- Ollama Modelfile 만들기: FROM, SYSTEM, PARAMETER, MESSAGE 등Ollama Modelfile Generator시스템 메시지, 매개변수, 중지 시퀀스를 넣어 Ollama Modelfile 만들기
- ollama create가 읽는 방식으로 Modelfile 확인Ollama Modelfile Checkerollama create가 읽는 방식으로 Modelfile 확인: 줄이 표시된 오류, parameter, 주의할 점
- Ollama TEMPLATE을 실행해 프롬프트를 그대로 확인Ollama Template TesterOllama의 TEMPLATE을 대화에 적용해 모델이 받는 프롬프트를 그대로 보기