Hugging Face Blog·· 2023-12-01AI 评分54
Hugging Face 排查 Open LLM Leaderboard 中 DROP 评测分数异常并暂时移除该基准
Open LLM Leaderboard: DROP deep dive
AI 导读
Hugging Face 宣布从 Open LLM Leaderboard 中移除 DROP 基准,原因是多数模型 f1 分数异常低于 10。排查发现归一化步骤会漏掉后接非空格空白字符的数字,且以句号作为生成结束符会截断浮点答案并拉低高质量模型分数;按换行符重切分后分数与整体表现相关性明显改善。团队在与 EleutherAI 讨论后决定待新版本评测开发完成前先移除 DROP,并邀请社区反馈。
来源:Hugging Face Blog · huggingface.co