Hugging Face Blog·· 2024-10-16AI 评分53
Hugging Face 修复 transformers Trainer 梯度累积损失计算问题
Fixing Gradient Accumulation
AI 导读
Hugging Face 修复 transformers 中梯度累积下默认损失函数计算错误的问题,此前开启与关闭梯度累积的训练损失不一致。对于因果 LM 等词元级任务,正确做法是所有 batch 损失求和后除以全部非填充 token 数,而非对每个 batch 损失取平均。
来源:Hugging Face Blog · huggingface.co