Hugging Face Blog·· 2024-12-04AI 评分30
用 3C3H 重新思考 LLM 评测:AraGen 基准与排行榜
Rethinking LLM Evaluation with 3C3H: AraGen Benchmark and Leaderboard
AI 导读
Hugging Face 发布面向阿拉伯语 LLM 的生成式评测基准与排行榜 AraGen,并推出新的 NLG 评测指标 3C3H。3C3H 基于 LLM-as-judge,从正确性、完整性、简洁性、有用性、诚实性与无害性六个维度评估模型回答,兼顾事实性与可用性。排行榜采用动态评测:数据集和评测代码先私有盲测三个月,到期后公开并更换新数据集,以缓解数据污染问题。
来源:Hugging Face Blog · huggingface.co