如何用 Megatron-LM 训练语言模型

NVIDIA 的 Megatron-LM 是专为 GPU 高度优化的预训练框架，相比 🤗 Accelerate 和 Trainer 更快但上手门槛更高。它通过高效的 DataLoader 和融合 CUDA kernel（包括 Apex 的 Fused AdamW）减少内存搬移、加速训练。