AllenAI 发布 Olmo-core 3：面向万亿参数 MoE 的开源训练框架

AllenAI 发布开源训练框架 Olmo-core 3， redesigned MoE 训练系统，目标是将 MoE 训练扩展到万亿参数规模。基准测试显示，在 512 块 NVIDIA B300 GPU 上运行 1.2 万亿总参数模型达到 858 TFLOP/s/GPU，新栈比旧 FSDP 实现吞吐高约 2.7 倍；MXFP8 使吞吐比 BF16 提高约 21%。