跳到正文
原文
Google Research·· 2026-04-01AI 评分44

Google Research 研究:构建更好的 AI benchmark 需要多少标注者才够?

Building better AI benchmarks: How many raters are enough?

AI 导读

Google Research 在论文 "Forest vs Tree: The (N,K) Trade-off in Reproducible ML Evaluation" 中研究了 AI 评测中每题标注数(K)与标注条目数(N)之间的可复现性权衡,模拟器已开源在 GitHub。

来源:Google Research · research.google