Hugging Face Blog·· 2022-07-14AI 评分58
BLOOM 176B 训练背后的技术详解：384 张 A100 与 Megatron-DeepSpeed 的 3.5 个月之旅
The Technology Behind BLOOM Training
AI 导读
Hugging Face 详细复盘 176B 参数模型 BLOOM 的训练技术，项目使用 384 张 80GB A100 GPU、350B token 的 59 语言数据集，耗时约 3.5 个月（约 100 万计算小时）。
来源：Hugging Face Blog · huggingface.co