Hugging Face Blog·· 2024-06-13AI 评分57
Hugging Face Accelerate 如何统一 DeepSpeed 与 FSDP 的混合精度行为
From DeepSpeed to FSDP and Back Again with Hugging Face Accelerate
AI 导读
Hugging Face 发布博客，解释通过 Accelerate 使用 DeepSpeed 与 PyTorch FSDP 训练 Mistral-7B 时结果不一致的原因：DeepSpeed 默认把主权重上转 fp32，而 FSDP 原生不强制上转。
来源：Hugging Face Blog · huggingface.co