Hugging Face Blog·· 2022-09-16AI 评分40
用 DeepSpeed 和 Accelerate 实现 176B BLOOM 的超快推理
Incredibly Fast BLOOM Inference with DeepSpeed and Accelerate
AI 导读
Hugging Face 演示了如何在 8x80GB A100 上高效运行 176B 参数的 BLOOM 模型（bf16 权重需 352GB）。
来源：Hugging Face Blog · huggingface.co