跳到正文
原文
Hugging Face Blog·· 2024-06-04AI 评分31

Hugging Face 为 Intel Gaudi 优化 assisted generation 加速文本生成

Faster assisted generation support for Intel Gaudi

AI 导读

Hugging Face 将 assisted generation(基于 Speculative Sampling)适配并优化到 Intel Gaudi 处理器,现已合入 Optimum Habana,通过 .generate() 的 assistant_model 参数指定 draft 模型即可使用。

来源:Hugging Face Blog · huggingface.co