跳到正文
原文
Hugging Face Blog·· 2025-10-07精选AI 评分68

BigCode 发布 BigCodeArena:通过代码执行端到端评判代码生成模型

BigCodeArena: Judging code generations end to end with code executions

AI 导读

BigCode 发布 BigCodeArena,一个通过真实执行来评判代码生成模型的人类投票平台,支持 10 种语言和 8 种执行环境,开放无需注册。上线 5 个月收集 14K 对话、4700+ 偏好投票,Elo 排名中 o3-mini 和 o1-mini 居首。

推荐理由

基于5个月社区执行评估数据发布代码生成评测平台,给出分语言和执行环境的模型表现差异与两个新基准。

来源:Hugging Face Blog · huggingface.co