Hugging Face Blog·· 2024-08-21AI 评分57
Hugging Face 推出 DataCollatorWithFlattening，实现无填充打包兼容 Flash Attention 2
Improving Hugging Face Training Efficiency Through Packing with Flash Attention 2
AI 导读
Hugging Face 通过新 PR 和 DataCollatorWithFlattening 使无填充打包的指令微调训练兼容 Flash Attention 2，TRL 的 SFTTrainer 也可通过 padding_free=True 使用。
来源：Hugging Face Blog · huggingface.co