Hugging Face Blog·· 22 天前精选AI 评分63
Hugging Face 实践:用 Storage Bucket 和代理跨 HF Jobs 跑 Async GRPO + LoRA,无需 NCCL
Async GRPO with LoRA across HF Jobs: a bucket, a proxy, and no NCCL
AI 导读
Hugging Face 博客介绍 TRL v1.14 的 AsyncGRPOTrainer 支持 LoRA 训练并仅向 vLLM 同步几 MB 的 adapter,训练与推理以独立 HF Jobs 运行,通过 Storage Bucket 挂载共享 adapter,前置代理负责加鉴权头、按 KV 前缀路由 rollout 并向所有副本广播 adapter 加载。
推荐理由
原文给出了跨机 LoRA GRPO 的完整架构与五轮瓶颈调优数据,500 步从 3 小时 27 分压到 53 分钟,方法可直接复用。
来源:Hugging Face Blog · huggingface.co