UK AISI 与 EvalEval 如何让评测结果可复现
UK AISI 正在使用 EvalEval 的基础设施公开分享评测结果，以提升评测的可复现性与可验证性。
#Hugging Face
#Hugging Face
今日 0 条Hugging Face BlogAI 评分4949
Hugging Face BlogAI 评分4343 Hugging Face 发布 BenchMIRT：审计 LLM 基准实际测的是什么
Hugging Face 推出 BenchMIRT，一种基于多维 IRT 的方法，用于在题目层面审计 LLM 基准的真实测量内容。该方法基于 100 个 LLM、16 个基准和超过 34K 道题的结果训练，未事先标注即独立恢复出安全与通用推理两个维度。分析发现 BBQ 和 WMDP 得分与通用推理的关联强于安全，HarmBench 的版权类题目也更偏向通用推理。
Hugging Face Blog精选AI 评分6060 Open ASR Leaderboard 新增 Monsoon 印地语与印度英语评测集
Voice Arena 与 Hugging Face 合作，在 Open ASR Leaderboard 引入 Monsoon en-IN 和 Monsoon hi-IN 两套评测集，覆盖 4,888 名说话人，印地语是该多语言榜单上首个非欧洲语言。
推荐理由：原文给出 Monsoon 四个评测集的采集设计与区域误差分析样例，读者可以了解带说话人元数据的 ASR 评测能揭示什么。
Hugging Face BlogAI 评分5858 Multiverse Computing 提出 Quantization-Aware Healing：4-bit 压缩模型在 9 项基准中 7 项超越全精度原版
Multiverse Computing 发布 Quantization-Aware Healing（QAH）方法，将 GPT-OSS 120B 压缩到 60B 参数并量化为 MXFP4 后，模型在 9 项基准中的 7 项超过其 bfloat16 全精度版本，AA-LCR 提升 7.4 分、AIME 2025 提升 5.6 分。
Hugging Face Blog精选AI 评分6161 Hugging Face 研究量化语音识别中的基准优化现象
Hugging Face 发布新研究，用三项探针测试量化 ASR 模型的基准优化（benchmaxxing）现象。评估 11 个开源模型发现，多个高分模型会复现 VoxPopuli 和 LibriSpeech 的错误参考转录，甚至在相关词被静音时恢复被删除的数字，或按基准期望切换拼写变体；部分模型还能借助声学线索识别测试集。
推荐理由：研究用三种探针量化了 ASR 模型对公开基准的过拟合，并给出选用模型与设计基准的具体建议。
Hugging Face Blog精选AI 评分8080 Hugging Face 复盘 ICML 2026 开源复现挑战赛：1,221 人用编码智能体复现 2,226 篇论文
Hugging Face 于 7 月 15 日至 8 月 2 日举办 ICML 2026 Open Reproductions 挑战赛，1,221 名社区成员用 Claude Code、Codex、Cursor 等智能体逐条复现论文，19 天内发布 6,816 份 Trackio logbook，覆盖 2,226 篇论文，约占会议的 34%。
推荐理由：原文基于一次大规模复现活动的第一手数据，给出可复现率、证伪案例和人类在 Agent 审稿中的角色判断。
Hugging Face BlogAI 评分3030 更新的模型同样的优势：DharmaOCR 仍领先 Mistral OCR4 与 Unlimited-OCR
DharmaOCR 在巴西葡萄牙语 OCR 基准上以 0.925 的得分领先新发布的 Mistral OCR4（0.798）和 Unlimited-OCR（0.7587），分别高出约 13 分和 16 分以上。
Hugging Face BlogAI 评分5252 Hume 发布 Real World VoiceEQ 基准，测量语音 AI 的类人交互质量
Hume 推出 Real World VoiceEQ 基准，评估 40 多个专有与开源语音模型，覆盖 ASR、TTS、S2S 和语音理解，含 15+ 维度、60+ 指标。
Hugging Face BlogAI 评分4545 ScarfBench：评测 AI 智能体在企业级 Java 框架迁移上的表现的开源基准
Hugging Face 推出开源基准 ScarfBench，用 Spring、Jakarta EE、Quarkus 间的迁移任务评测 AI 智能体，包含 34 个应用、102 个框架实现、204 个迁移任务、约 151K 行代码和 1,331 个专家编写测试。
Hugging Face BlogAI 评分4444 FFASR 远场语音识别排行榜发布：在真实声学环境下评测 ASR
Treble Technologies 与 Hugging Face 联合推出 FFASR Leaderboard，首个开放的社区驱动远场 ASR 基准，覆盖 14 个模拟房间并与实测数据做了 sim-to-real 验证。
Hugging Face BlogAI 评分5151 MosaicLeaks 基准揭示深度研究智能体的马赛克式隐私泄露风险
ServiceNow 团队在 Hugging Face Blog 发布 MosaicLeaks 基准与 PA-DR 训练方法，研究深度研究智能体通过 web 查询逐步拼出私有文档信息导致的马赛克式隐私泄露。
Hugging Face BlogAI 评分4141 Hugging Face 为 Open ASR Leaderboard 添加防"刷榜"私有数据集
Hugging Face 与 Appen Inc.、DataoceanAI 合作，为 Open ASR Leaderboard 引入 10 个高质量私有 ASR 数据集，涵盖朗读与对话风格及澳、加、印、美、英等多种口音，以防范 benchmaxxing 和测试集污染。
Hugging Face BlogAI 评分3333 Hugging Face 开源 Ecom-RLVE：面向电商对话智能体的自适应可验证环境
Hugging Face 将 RLVE 框架从单轮推理任务扩展到多轮、带工具调用的电商对话场景，推出 EcomRLVE-GYM，提供 8 个可算法验证的环境，如商品发现、换货、购物车构建、订单追踪等。
Hugging Face BlogAI 评分4848 VAKRA 解析：AI 智能体的推理、工具使用与失败模式
Hugging Face 介绍了其推出的可执行基准 VAKRA，用于评估 AI 智能体在企业级环境中的推理与执行能力。基准提供 8,000+ 本地托管 API、覆盖 62 个领域，任务需 3-7 步推理链，包含 API 链式调用、工具选择、多跳推理等四类能力。文章还分析了模型在不同任务上的失败模式。
Hugging Face BlogAI 评分5050 Hugging Face 推出语音智能体评估框架 EVA，首次联合评分任务准确性与对话体验
Hugging Face 发布端到端语音智能体评估框架 EVA，采用 bot-to-bot 音频架构评估完整多轮语音对话，产出 EVA-A（准确性）与 EVA-X（体验）两项分数。
Hugging Face BlogAI 评分3535 Alyah：面向阿拉伯语 LLM 阿联酋方言能力的稳健评测基准
Hugging Face 团队推出 Alyah（意为阿联酋方言中的"北极星"），一个评测阿拉伯语大模型阿联酋方言能力的基准，包含 1,173 个由母语者人工采集的多选题样本，覆盖问候语、诗歌、历史遗产和方言语言等类别。
Hugging Face BlogAI 评分4545 AssetOpsBench：弥合 AI 智能体评测与工业现实之间的差距
Hugging Face 推出 AssetOpsBench，一个面向工业资产运维（如冷水机组、空气处理机组）的智能体评测基准，从异常检测、故障诊断、KPI 预测、工单摘要等任务评估智能体。
Hugging Face BlogAI 评分4444 Open ASR Leaderboard 新增多语言与长音频赛道，并发布 ASR 趋势洞察
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转写赛道，目前对比 18 个机构的 60 多个开源与闭源模型，覆盖 11 个数据集。
Hugging Face BlogAI 评分4040 AI for Food Allergies：用 AI 推进食物过敏研究
全球约 2.2 亿人受食物过敏困扰，Hugging Face 发起 AI for Food Allergies 项目，打造首个社区驱动的研究实验室，探索 AI 如何推进食物过敏研究。该项目计划以开放协作的方式桥接 AI 与生物医学，涵盖过敏原预测、药物靶点建模、临床诊断与标签识别等方向，让研究者、临床医生和患者共同受益。
Hugging Face BlogAI 评分5050 NVIDIA 发布 Nemotron-Personas-India：面向主权 AI 的开源合成人物数据集
NVIDIA 发布 Nemotron-Personas-India，首个对齐印度真实人口分布的开源合成人物数据集，采用 CC BY 4.0 许可。数据集包含 2100 万个人物（3M 记录 × 7 人物），共 7.7 billion tokens，支持英语和印地语（天城文与拉丁字母），覆盖全部 36 个邦和 640 个地区。
Hugging Face Blog精选AI 评分6868 BigCode 发布 BigCodeArena：通过代码执行端到端评判代码生成模型
BigCode 发布 BigCodeArena，一个通过真实执行来评判代码生成模型的人类投票平台，支持 10 种语言和 8 种执行环境，开放无需注册。上线 5 个月收集 14K 对话、4700+ 偏好投票，Elo 排名中 o3-mini 和 o1-mini 居首。
推荐理由：基于5个月社区执行评估数据发布代码生成评测平台，给出分语言和执行环境的模型表现差异与两个新基准。
Hugging Face BlogAI 评分5151 Hugging Face 发布 RTEB 基准，用开放与私有数据集评估嵌入模型真实检索泛化能力
Hugging Face 发布 Retrieval Embedding Benchmark（RTEB）测试版，旨在可靠评估嵌入模型在真实应用中的检索准确性。它采用开放与私有数据集结合的混合策略来检测基准过拟合，覆盖 20 种语言和法律、医疗、代码、金融等企业领域，默认榜单指标为 NDCG@10，榜单已上线于 MTEB 排行榜的检索板块。
Hugging Face BlogAI 评分4747 NVIDIA 发布 Nemotron-Personas-Japan：面向主权 AI 的日语合成数据集
NVIDIA 发布首个面向日本人口统计、地理与文化特征的开源合成人设数据集 Nemotron-Personas-Japan，采用 CC BY 4.0 许可。
Hugging Face BlogAI 评分5555 Hugging Face 发布 Smol2Operator：将 SmolVLM2-2.2B 训练为 GUI 智能体的完整开源方案
Hugging Face 发布 Smol2Operator 方案，将无 GUI 定位能力的 SmolVLM2-2.2B-Instruct 通过两阶段 SFT 训练为 GUI 智能体，在 ScreenSpot-v2 上从基线 0 提升到 61.71%。
Hugging Face BlogAI 评分4646 SandboxAQ 发布 SAIR：AI 结构智能加速药物研发，最大共折叠蛋白-配体 3D 结构数据集上线 Hugging Face
SandboxAQ 发布开源数据集 SAIR，提供超过 500 万（5.24 million）个 AI 生成的蛋白-配体 3D 共折叠结构，每个结构均配有来自 ChEMBL 或 BindingDB 的实测 IC₅₀ 数据，以 CC BY 4.0 许可免费开放。
Hugging Face BlogAI 评分3737 FilBench：评估 LLM 能否理解并生成菲律宾语的评测基准
Hugging Face 团队推出 FilBench 评测套件，覆盖 Tagalog、Filipino 和 Cebuano 三种语言，包含 Cultural Knowledge、Classical NLP、Reading Comprehension 和 Generation 四大类共 12 项任务，并据此评估了 20 多个主流 LLM。
Hugging Face BlogAI 评分3737 NVIDIA 在 DeepResearch Bench 上评测开源 Llama Nemotron 模型
NVIDIA 的 AI-Q Blueprint 在 Hugging Face DeepResearch Bench「LLM with Search」榜单登顶，总分为 40.52（截至 2025 年 8 月），是目前完全开源授权方案中的第一名。
Hugging Face BlogAI 评分3737 Hugging Face 发布 3LM：面向阿拉伯语 LLM 的 STEM 与代码基准
Hugging Face 推出 3LM，首个针对阿拉伯语 LLM 评测 STEM 与代码生成的多组件基准，包含 865 道原生 STEM 选择题、1,744 道合成高难度题，以及由 HumanEval+ 和 MBPP+ 翻译的阿拉伯语代码数据集。
Hugging Face BlogAI 评分5353 Hugging Face 发布 TimeScope 长视频理解基准
Hugging Face 发布开源基准 TimeScope，将约 5-10 秒的短视频"针"插入 1 分钟到 8 小时的基础视频中，评测局部检索、信息综合和细粒度时序感知三类能力。测试发现多数先进模型在真实时序任务上仍吃力，Gemini 2.5-Pro 是唯一在超过一小时视频上保持高准确率的模型，而扩大参数量并不能延长模型的有效时序范围。数据集、排行榜和 lmms-eval 评测框架均已开源。
Hugging Face BlogAI 评分4646 Hugging Face 推出 FutureBench：评测 AI 智能体预测未来事件的能力
Hugging Face 提出 FutureBench，通过真实世界事件评测 AI 智能体预测未来的能力。该基准从新闻和 Polymarket 预测市场采集题目：基于 smolagents 的智能体用 DeepSeek-V3 生成预测问题，每次抓取约生成 5 道题、时间范围为一周，另有每周约 8 道来自 Polymarket 的问题。
Hugging Face BlogAI 评分4848 Hugging Face 发布 ScreenSuite：最全面的 GUI Agent 评测套件
Hugging Face 发布 ScreenSuite，一套覆盖感知、定位、单步操作和多步智能体四类能力的 GUI Agent 评测套件，整合 13 个基准，如 ScreenQA-Short、ScreenSpot-Pro、AndroidWorld 和 OSWorld。
Hugging Face Blog精选AI 评分6060 Hugging Face 提出 Structured CodeAgent：用结构化生成提升代码智能体可靠性
Hugging Face 发布研究，让 CodeAgent 以强制 JSON 结构同时生成 thoughts 和 code，在 GAIA、MATH、SimpleQA、Frames 等基准上比常规 CodeAgent 平均高出 2-7 个百分点。
推荐理由：原文给出结构化输出结合 CodeAgent 的实测数据与适用边界，读者可据此判断自己的模型规模是否适合启用该方案。
Hugging Face BlogAI 评分3737 Inception 联合 MBZUAI 推出 Arabic-Leaderboards：新增阿拉伯语指令遵循榜单并更新 AraGen
Inception 联合 MBZUAI 在 Hugging Face 推出 Arabic-Leaderboards Space，整合阿拉伯语 AI 评测，目前包含 AraGen-03-25 和基于 Arabic IFEval 的指令遵循榜单。
Hugging Face Blog精选AI 评分6363 Hugging Face Open R1 更新：发布 CodeForces-CoTs 数据集、IOI 基准与 OlympicCoder 7B/32B 模型
Hugging Face 在 Open R1 第三次更新中发布了从 DeepSeek-R1 蒸馏的 CodeForces-CoTs 数据集（近 10 万样本）、2024 年 IOI 题目构成的 IOI 基准，以及基于 Qwen2.5 Coder 微调的 OlympicCoder-7B 和 OlympicCoder-32B。
推荐理由：Hugging Face 官方复盘训练过程，给出样本打包、学习率等可复用经验，并附带完整数据集、基准和评测代码。
Hugging Face BlogAI 评分5151 Yaak 与 Hugging Face LeRobot 团队发布全球最大开源自驾数据集 L2D
Yaak 与 LeRobot 团队发布开源自驾数据集 L2D（Learning to Drive），R4 版含 100 万个 episode、5000+ 小时驾驶、90+ TB 多模态数据，采集自德国 30 个城市的 60 辆驾校电动车。
Hugging Face Blog精选AI 评分6262 Hugging Face Open R1 更新：发布 OpenR1-Math-220k 数学推理数据集
Hugging Face Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k，在 512 张 H100 上用 DeepSeek R1 为 40 万道题生成 80 万条推理轨迹，经 Math Verify 和 Llama3.3-70B-Instruct 过滤后保留 22 万条正确轨迹。
推荐理由：原文详述数学推理数据集的构建方法、过滤策略与消融结果，也覆盖社区在小样本微调和 CoT 长度控制上的进展。
Hugging Face BlogAI 评分3434 Open Arabic LLM Leaderboard 2 发布
Hugging Face 联合 2A2I、TII 推出的 Open Arabic LLM Leaderboard 即将升级为第二版。第一版上线不到 7 个月吸引超 46,000 访客、提交超 700 个模型（1B 至 70B+ 参数），覆盖 180 多个组织；其中 70% 以上为 chat 和微调模型，超 50% 的模型小于 7B。新版将针对社区反馈，加强阿拉伯语特定任务评测与基准透明度。
Hugging Face BlogAI 评分4646 Adyen 与 Hugging Face 联合推出多步推理数据智能体基准 DABstep
Adyen 与 Hugging Face 联合发布 DABstep（Data Agent Benchmark for Multi-step Reasoning），包含 450 多个源自 Adyen 真实工作负载的数据分析任务，用于评估 LLM 和 AI 智能体。
Hugging Face BlogAI 评分5050 Hugging Face Data is Better Together 社区发布开放文本生成图像偏好数据集 open-image-preferences-v1
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本生成图像偏好数据集 open-image-preferences-v1，包含 10K 偏好对、超 30K 标注响应，由 250 多名社区成员在不到两周内完成。
Hugging Face BlogAI 评分4848 CinePile 2.0 发布：用对抗式精炼打造更强的长视频问答数据集
Hugging Face 等团队发布长视频问答数据集 CinePile 2.0，核心改进来自其提出的对抗式数据精炼方法。初代 CinePile 于 2024 年 5 月上线，含约 300,000 训练样本和 5,000 测试样本，人类成绩曾领先最佳商业视觉模型 25%、开源模型 65%。