Hugging Face Blog·· 2021-01-19精选AI 评分66
Hugging Face 详解用 DeepSpeed 与 FairScale 的 ZeRO 训练更大模型并提速
Fit More and Train Faster With ZeRO via DeepSpeed and FairScale
AI 导读
transformers v4.2.0 起在 Trainer 中实验性支持 DeepSpeed 和 FairScale 的 ZeRO 特性，分别通过 --deepspeed 和 --sharded_ddp 参数启用。
推荐理由
作者用 t5-large 和 t5-3b 的实测对比表展示 ZeRO 如何提升显存效率与训练速度，方法可直接在 transformers Trainer 中复用。
来源：Hugging Face Blog · huggingface.co