Hugging Face 详解如何用异步批处理解锁 continuous batching 的性能潜力

Hugging Face 讲解如何将 CPU 与 GPU 工作负载分离，实现异步 continuous batching 以提升 LLM 推理性能。在使用 8B 模型、batch size 32 生成 8K token 的测试中，同步批处理有 24.0% 的时间 GPU 处于空闲等待，总耗时 300.6 秒；消除 CPU 开销可带来约 24% 的免加速。