Hugging Face Blog·· 2025-10-07精选AI 评分68
BigCode 发布 BigCodeArena:通过代码执行端到端评判代码生成模型
BigCodeArena: Judging code generations end to end with code executions
AI 导读
BigCode 发布 BigCodeArena,一个通过真实执行来评判代码生成模型的人类投票平台,支持 10 种语言和 8 种执行环境,开放无需注册。上线 5 个月收集 14K 对话、4700+ 偏好投票,Elo 排名中 o3-mini 和 o1-mini 居首。
推荐理由
基于5个月社区执行评估数据发布代码生成评测平台,给出分语言和执行环境的模型表现差异与两个新基准。
来源:Hugging Face Blog · huggingface.co