Hugging Face Blog·· 2023-10-03精选AI 评分78
Hugging Face 为 tokenizer 引入 chat_template 属性解决聊天格式不匹配问题
Chat Templates: An End to the Silent Performance Killer
AI 导读
Hugging Face 宣布 tokenizers 新增 chat_template 属性，用于保存模型训练时的对话格式，避免因格式不匹配导致难以察觉的性能严重下降。
推荐理由
原文指出对话格式不匹配会导致静默性能下降，并给出将 Jinja 聊天模板随 tokenizer 保存和使用的具体做法。
来源：Hugging Face Blog · huggingface.co