Hugging Face Blog·· 2024-10-08AI 评分52
Intel 与 Hugging Face 推出动态推测解码，文本生成最高加速 2.7x 并成为 Transformers 4.45.0 辅助生成默认模式
Faster Assisted Generation with Dynamic Speculation
AI 导读
Intel labs 与 Hugging Face 提出动态推测解码，通过基于草稿模型置信度阈值动态调整每轮推测 lookahead，文本生成最高加速 2.7x，并从 Transformers 4.45.0 起成为辅助生成的默认模式。
来源：Hugging Face Blog · huggingface.co