Simon Willison 转引 Anthropic Frontier Red Team 的评测：在内部 Binary Exploitation benchmark 的 100 个任务上，GLM-5.3 在 4% 的试验中实现了完整的控制流劫持，Claude Mythos Preview 为 6%。而更早的 Claude Opus 4.6 和 GLM-5.2 均无一成功。
UK AISI 正在使用 EvalEval 的基础设施公开分享评测结果，以提升评测的可复现性与可验证性。
Hugging Face 推出 BenchMIRT，一种基于多维 IRT 的方法，用于在题目层面审计 LLM 基准的真实测量内容。该方法基于 100 个 LLM、16 个基准和超过 34K 道题的结果训练，未事先标注即独立恢复出安全与通用推理两个维度。分析发现 BBQ 和 WMDP 得分与通用推理的关联强于安全，HarmBench 的版权类题目也更偏向通用推理。
DiG-bench 是一个包含 70 款隐藏规则游戏的基准，用于测试 AI 通过探索发现环境规则的能力，来自牛津、Princeton、MIT 等机构，作者包括 Juergen Schmidhuber。
Microsoft Research 推出 MindTopo 基准，评估多模态大模型在连通性、包围、顺序、分离与绳结五类拓扑概念上的推理与规划能力。测试显示，各类专有和开源模型在静态推理上明显优于交互式规划任务，且均远低于人类水平，错误多出现在多步规划中丢失结构关系或提出违反物理约束的动作。该基准可为机器人和交互环境中需要保持拓扑结构的智能体研究提供诊断工具。
Hume 推出 Real World VoiceEQ 基准，评估 40 多个专有与开源语音模型，覆盖 ASR、TTS、S2S 和语音理解，含 15+ 维度、60+ 指标。
OpenAI 发布分析，指出流行的编码评测基准 SWE-Bench Pro 存在问题，引发对 AI 模型评估可靠性与准确性的担忧。
Hugging Face 推出开源基准 ScarfBench，用 Spring、Jakarta EE、Quarkus 间的迁移任务评测 AI 智能体，包含 34 个应用、102 个框架实现、204 个迁移任务、约 151K 行代码和 1,331 个专家编写测试。
OpenAI 推出 GeneBench-Pro，一个测试 AI 在基因组学、生物学和科研领域表现的全新基准测试。该基准使用复杂的真实世界数据集来评估 AI 性能。
Treble Technologies 与 Hugging Face 联合推出 FFASR Leaderboard，首个开放的社区驱动远场 ASR 基准，覆盖 14 个模拟房间并与实测数据做了 sim-to-real 验证。
OpenAI 推出 LifeSciBench，这是一个由领域专家撰写并审阅的基准，用于评估 AI 系统在真实世界生命科学研究任务和决策中的表现。
OpenAI 举办 Parameter Golf 活动，汇聚 1000+ 参与者和 2000+ 提交作品，探索 AI 辅助机器学习研究。活动在严格约束下覆盖 coding agents、量化和新型模型设计等方向。
Hugging Face 与 Appen Inc.、DataoceanAI 合作，为 Open ASR Leaderboard 引入 10 个高质量私有 ASR 数据集，涵盖朗读与对话风格及澳、加、印、美、英等多种口音，以防范 benchmaxxing 和测试集污染。
Hugging Face 推出 QIMMA（قِمّة，意为“峰顶”），先对基准做质量校验再评估模型，确保分数反映真实的阿拉伯语能力。QIMMA 整合 14 个基准的 109 个子集、超 52,000 样本，覆盖文化、STEM、法律、医疗、安全、文学和代码 7 个领域，99% 为原生阿拉伯语内容。
Hugging Face 介绍了其推出的可执行基准 VAKRA，用于评估 AI 智能体在企业级环境中的推理与执行能力。基准提供 8,000+ 本地托管 API、覆盖 62 个领域，任务需 3-7 步推理链，包含 API 链式调用、工具选择、多跳推理等四类能力。文章还分析了模型在不同任务上的失败模式。
Google Research 在论文 "Forest vs Tree: The (N,K) Trade-off in Reproducible ML Evaluation" 中研究了 AI 评测中每题标注数（K）与标注条目数（N）之间的可复现性权衡，模拟器已开源在 GitHub。
Hugging Face 发布端到端语音智能体评估框架 EVA，采用 bot-to-bot 音频架构评估完整多轮语音对话，产出 EVA-A（准确性）与 EVA-X（体验）两项分数。
OpenAI 与 Paradigm 联合推出 EVMbench，一个评估 AI 智能体能否检测、修补和利用高危智能合约漏洞的评测基准。该基准聚焦智能体在智能合约安全场景下的实际能力。
Hugging Face 团队推出 Alyah（意为阿联酋方言中的"北极星"），一个评测阿拉伯语大模型阿联酋方言能力的基准，包含 1,173 个由母语者人工采集的多选题样本，覆盖问候语、诗歌、历史遗产和方言语言等类别。
Hugging Face 推出 AssetOpsBench，一个面向工业资产运维（如冷水机组、空气处理机组）的智能体评测基准，从异常检测、故障诊断、KPI 预测、工单摘要等任务评估智能体。
OpenAI 推出 FrontierScience 基准，用于测试 AI 在物理、化学、生物学领域的推理能力，衡量其迈向真实科学研究水平的进展。
Google DeepMind 与 Kaggle 于 2025 年 12 月 9 日发布 FACTS Benchmark Suite，在原 FACTS Grounding 基础上新增 Parametric、Search 和 Multimodal 三个基准，共 3513 条公开样例，并保留私有评测集由 Kaggle 托管公开排行榜。
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转写赛道，目前对比 18 个机构的 60 多个开源与闭源模型，覆盖 11 个数据集。
OpenAI 推出 IndQA，一个用于评测 AI 系统在印度语言表现的基准。该基准由领域专家参与构建，覆盖 12 种语言和 10 个知识领域，考察模型的文化理解与推理能力。
BigCode 发布 BigCodeArena，一个通过真实执行来评判代码生成模型的人类投票平台，支持 10 种语言和 8 种执行环境，开放无需注册。上线 5 个月收集 14K 对话、4700+ 偏好投票，Elo 排名中 o3-mini 和 o1-mini 居首。
推荐理由：基于5个月社区执行评估数据发布代码生成评测平台，给出分语言和执行环境的模型表现差异与两个新基准。
Hugging Face 发布 Retrieval Embedding Benchmark（RTEB）测试版，旨在可靠评估嵌入模型在真实应用中的检索准确性。它采用开放与私有数据集结合的混合策略来检测基准过拟合，覆盖 20 种语言和法律、医疗、代码、金融等企业领域，默认榜单指标为 NDCG@10，榜单已上线于 MTEB 排行榜的检索板块。
OpenAI 推出新评测基准 GDPval，用于衡量模型在真实世界中有经济价值的任务上的表现。该评测覆盖 44 种职业，旨在更贴近实际工作场景检验模型能力。
Hugging Face 团队推出 FilBench 评测套件，覆盖 Tagalog、Filipino 和 Cebuano 三种语言，包含 Cultural Knowledge、Classical NLP、Reading Comprehension 和 Generation 四大类共 12 项任务，并据此评估了 20 多个主流 LLM。
Hugging Face 推出 TextQuests 基准，基于 25 款经典 Infocom 互动小说游戏评估 LLM 作为自主智能体的长上下文推理与探索学习能力。
NVIDIA 的 AI-Q Blueprint 在 Hugging Face DeepResearch Bench「LLM with Search」榜单登顶，总分为 40.52（截至 2025 年 8 月），是目前完全开源授权方案中的第一名。
Hugging Face 推出 3LM，首个针对阿拉伯语 LLM 评测 STEM 与代码生成的多组件基准，包含 865 道原生 STEM 选择题、1,744 道合成高难度题，以及由 HumanEval+ 和 MBPP+ 翻译的阿拉伯语代码数据集。
Hugging Face 发布开源基准 TimeScope，将约 5-10 秒的短视频"针"插入 1 分钟到 8 小时的基础视频中，评测局部检索、信息综合和细粒度时序感知三类能力。测试发现多数先进模型在真实时序任务上仍吃力，Gemini 2.5-Pro 是唯一在超过一小时视频上保持高准确率的模型，而扩大参数量并不能延长模型的有效时序范围。数据集、排行榜和 lmms-eval 评测框架均已开源。
Hugging Face 提出 FutureBench，通过真实世界事件评测 AI 智能体预测未来的能力。该基准从新闻和 Polymarket 预测市场采集题目：基于 smolagents 的智能体用 DeepSeek-V3 生成预测问题，每次抓取约生成 5 道题、时间范围为一周，另有每周约 8 道来自 Polymarket 的问题。
Hugging Face 发布 ScreenSuite，一套覆盖感知、定位、单步操作和多步智能体四类能力的 GUI Agent 评测套件，整合 13 个基准，如 ScreenQA-Short、ScreenSpot-Pro、AndroidWorld 和 OSWorld。
OpenAI 发布 HealthBench，一个面向医疗场景的 AI 评测基准，在真实场景中评估模型表现。该基准由 250 多名医生参与构建，旨在为模型在健康领域的性能与安全提供共同标准。
Princeton 团队推出长上下文语言模型评测基准 HELMET，已入选 ICLR 2025，共评测 59 个模型，发现合成任务（如 NIAH）与真实下游表现相关性差，前沿长上下文模型在复杂任务上仍受限。
Inception 联合 MBZUAI 在 Hugging Face 推出 Arabic-Leaderboards Space，整合阿拉伯语 AI 评测，目前包含 AraGen-03-25 和基于 Arabic IFEval 的指令遵循榜单。
OpenAI 推出 SWE-Lancer 基准，将真实自由职业软件工程任务转化为 LLM 评测，总价值 100 万美元，考察前沿模型能否赚取这笔报酬。该基准用真实 Upwork 工程任务衡量模型的实际编程能力。
Hugging Face 联合 2A2I、TII 推出的 Open Arabic LLM Leaderboard 即将升级为第二版。第一版上线不到 7 个月吸引超 46,000 访客、提交超 700 个模型（1B 至 70B+ 参数），覆盖 180 多个组织；其中 70% 以上为 chat 和微调模型，超 50% 的模型小于 7B。新版将针对社区反馈，加强阿拉伯语特定任务评测与基准透明度。
Adyen 与 Hugging Face 联合发布 DABstep（Data Agent Benchmark for Multi-step Reasoning），包含 450 多个源自 Adyen 真实工作负载的数据分析任务，用于评估 LLM 和 AI 智能体。