Hugging Face Blog·· 2022-05-02AI 评分50
Hugging Face 介绍用 Accelerate 结合 PyTorch FSDP 训练大模型
Accelerate Large Model Training using PyTorch Fully Sharded Data Parallel
AI 导读
Hugging Face 发文介绍如何在 Accelerate 库中使用 PyTorch FullyShardedDataParallel（FSDP），无需改动代码即可分片训练大模型。
来源：Hugging Face Blog · huggingface.co