Hugging Face 让知识蒸馏成本低到可大规模运行

Hugging Face 论文提出两项系统改动来降低 LLM 知识蒸馏成本：离线缓存 teacher 的 top-100 logits，以及将输出投影融合进损失的 fused chunked KL loss，避免构建全词表 × 序列长度矩阵。