Hugging Face Blog·· 2022-09-27精选AI 评分68
Accelerate 如何借助 PyTorch 运行超大模型
How 🤗 Accelerate runs very large models thanks to PyTorch
AI 导读
Hugging Face 官方详解 Accelerate 如何在普通硬件上加载并运行超大模型，示例可在免费 Colab 上运行 OPT-6.7B。
推荐理由
官方详解 Accelerate 借助 PyTorch meta device、分片加载与 hooks 实现超大模型推理的完整原理，方法可直接复用。
来源：Hugging Face Blog · huggingface.co