Hugging Face Blog·· 2023-12-05AI 评分53
Hugging Face 发布 Optimum-NVIDIA 推理库，一行代码解锁最高 28 倍吞吐
Optimum-NVIDIA Unlocking blazingly fast LLM inference in just 1 line of code
AI 导读
Hugging Face 发布 Optimum-NVIDIA 推理库，改动一行代码即可在 NVIDIA 平台上获得最高 28 倍吞吐提升和 1200 tokens/second，首 token 延迟最高快 3.3 倍。
来源：Hugging Face Blog · huggingface.co