TextQuests：评估 LLM 在文字冒险游戏中的智能体推理能力
Hugging Face 推出 TextQuests 基准，基于 25 款经典 Infocom 互动小说游戏评估 LLM 作为自主智能体的长上下文推理与探索学习能力。
#评测/基准
#评测/基准
今日 0 条Hugging Face BlogAI 评分4141
OpenAI NewsAI 评分5656 GPT-5 初体验：多位领先开发者首次上手实测
OpenAI 发布 GPT-5 首次上手视频，展示多位领先开发者首次使用 GPT-5 的过程与反应。
Hugging Face BlogAI 评分3737 NVIDIA 在 DeepResearch Bench 上评测开源 Llama Nemotron 模型
NVIDIA 的 AI-Q Blueprint 在 Hugging Face DeepResearch Bench「LLM with Search」榜单登顶，总分为 40.52（截至 2025 年 8 月），是目前完全开源授权方案中的第一名。
Hugging Face BlogAI 评分3737 Hugging Face 发布 3LM：面向阿拉伯语 LLM 的 STEM 与代码基准
Hugging Face 推出 3LM，首个针对阿拉伯语 LLM 评测 STEM 与代码生成的多组件基准，包含 865 道原生 STEM 选择题、1,744 道合成高难度题，以及由 HumanEval+ 和 MBPP+ 翻译的阿拉伯语代码数据集。
Hugging Face BlogAI 评分5353 Hugging Face 发布 TimeScope 长视频理解基准
Hugging Face 发布开源基准 TimeScope，将约 5-10 秒的短视频"针"插入 1 分钟到 8 小时的基础视频中，评测局部检索、信息综合和细粒度时序感知三类能力。测试发现多数先进模型在真实时序任务上仍吃力，Gemini 2.5-Pro 是唯一在超过一小时视频上保持高准确率的模型，而扩大参数量并不能延长模型的有效时序范围。数据集、排行榜和 lmms-eval 评测框架均已开源。
Hugging Face BlogAI 评分4646 Hugging Face 推出 FutureBench：评测 AI 智能体预测未来事件的能力
Hugging Face 提出 FutureBench，通过真实世界事件评测 AI 智能体预测未来的能力。该基准从新闻和 Polymarket 预测市场采集题目：基于 smolagents 的智能体用 DeepSeek-V3 生成预测问题，每次抓取约生成 5 道题、时间范围为一周，另有每周约 8 道来自 Polymarket 的问题。
Hugging Face BlogAI 评分2525 Hugging Face 发布 NeurIPS 2025 E2LM 竞赛：语言模型早期训练评估
Hugging Face 联合 NeurIPS 2025 举办 E2LM 竞赛，旨在构建能捕捉 LLM 早期训练阶段（约 200B token 以内）推理与科学知识信号的新基准。
Hugging Face BlogAI 评分4848 Hugging Face 发布 ScreenSuite：最全面的 GUI Agent 评测套件
Hugging Face 发布 ScreenSuite，一套覆盖感知、定位、单步操作和多步智能体四类能力的 GUI Agent 评测套件，整合 13 个基准，如 ScreenQA-Short、ScreenSpot-Pro、AndroidWorld 和 OSWorld。
OpenAI NewsAI 评分5151 OpenAI 发布医疗 AI 评测基准 HealthBench
OpenAI 发布 HealthBench，一个面向医疗场景的 AI 评测基准，在真实场景中评估模型表现。该基准由 250 多名医生参与构建，旨在为模型在健康领域的性能与安全提供共同标准。
Hugging Face BlogAI 评分4747 HELMET 发布：全面评测长上下文语言模型
Princeton 团队推出长上下文语言模型评测基准 HELMET，已入选 ICLR 2025，共评测 59 个模型，发现合成任务（如 NIAH）与真实下游表现相关性差，前沿长上下文模型在复杂任务上仍受限。
Hugging Face BlogAI 评分3737 Inception 联合 MBZUAI 推出 Arabic-Leaderboards：新增阿拉伯语指令遵循榜单并更新 AraGen
Inception 联合 MBZUAI 在 Hugging Face 推出 Arabic-Leaderboards Space，整合阿拉伯语 AI 评测，目前包含 AraGen-03-25 和基于 Arabic IFEval 的指令遵循榜单。
OpenAI NewsAI 评分3535 OpenAI 推出 SWE-Lancer 基准：测试前沿 LLM 能否靠真实自由软件工程赚 100 万美元
OpenAI 推出 SWE-Lancer 基准，将真实自由职业软件工程任务转化为 LLM 评测，总价值 100 万美元，考察前沿模型能否赚取这笔报酬。该基准用真实 Upwork 工程任务衡量模型的实际编程能力。
Hugging Face Blog精选AI 评分6363 Hugging Face 用 Math-Verify 重评 Open LLM Leaderboard 全部 3751 个模型
Hugging Face 用 Math-Verify 重新评测了 Open LLM Leaderboard 上全部 3751 个模型，修复旧评测器的格式、SymPy 解析和比较缺陷。模型平均多解对 61 题、整体提升 4.66 分，Qwen 分数翻倍以上、DeepSeek 接近三倍，MATH-Hard 榜首被 Nvidia AceMath 占据。
推荐理由：原文给出了旧评测器三类具体缺陷与修复后的排名变化，读者可以借此判断自己模型的数学评测结果是否被低估。
Hugging Face BlogAI 评分3434 Open Arabic LLM Leaderboard 2 发布
Hugging Face 联合 2A2I、TII 推出的 Open Arabic LLM Leaderboard 即将升级为第二版。第一版上线不到 7 个月吸引超 46,000 访客、提交超 700 个模型（1B 至 70B+ 参数），覆盖 180 多个组织；其中 70% 以上为 chat 和微调模型，超 50% 的模型小于 7B。新版将针对社区反馈，加强阿拉伯语特定任务评测与基准透明度。
Hugging Face BlogAI 评分4646 Adyen 与 Hugging Face 联合推出多步推理数据智能体基准 DABstep
Adyen 与 Hugging Face 联合发布 DABstep（Data Agent Benchmark for Multi-step Reasoning），包含 450 多个源自 Adyen 真实工作负载的数据分析任务，用于评估 LLM 和 AI 智能体。
Hugging Face BlogAI 评分4444 Open LLM Leaderboard 的 CO₂ 排放与模型性能分析
Hugging Face 基于 Open LLM Leaderboard 上 2,742 个模型的评测数据，分析了模型推理的 CO₂ 排放趋势。模型越大排放越高，但收益递减；Qwen-2.5-14B 和 Phi-3-Medium 的得分-排放比最优，MoE 排放偏高。社区微调模型普遍比官方微调更省碳，10B 以下社区模型可平均得分 35、排放低于 5kg CO₂。
Hugging Face BlogAI 评分5151 Artificial Analysis 发布 Big Bench Audio 评测集，实测 GPT-4o 与 Gemini 1.5 系列的音频推理能力
Artificial Analysis 发布音频语言模型推理评测集 Big Bench Audio，从 Big Bench Hard 四个类别各选 250 题生成 1000 道音频题，并给出 GPT-4o 与 Gemini 1.5 系列在语音到语音、语音到文本、文本到语音、文本到文本四种配置下的 18 组实验结果。
Hugging Face BlogAI 评分3030 用 3C3H 重新思考 LLM 评测：AraGen 基准与排行榜
Hugging Face 发布面向阿拉伯语 LLM 的生成式评测基准与排行榜 AraGen，并推出新的 NLG 评测指标 3C3H。3C3H 基于 LLM-as-judge，从正确性、完整性、简洁性、有用性、诚实性与无害性六个维度评估模型回答，兼顾事实性与可用性。排行榜采用动态评测：数据集和评测代码先私有盲测三个月，到期后公开并更换新数据集，以缓解数据污染问题。
Hugging Face BlogAI 评分4242 Hugging Face 与 LLM-jp 推出日语 LLM 开放排行榜
Hugging Face 与跨组织项目 LLM-jp 联合推出 Open Japanese LLM Leaderboard，用于集中评测和比较日语大语言模型。
Hugging Face BlogAI 评分4242 让大模型辩论：首届多语言 LLM 辩论竞赛
BAAI 推出 FlagEval Debate「Debate Arena」平台，让大模型两两辩论比拼推理与语言能力，目前支持中文、英文、阿拉伯语和韩语四语种。平台采用专家评审加用户投票的双评估体系，并允许参赛团队微调模型参数与对话策略。相比 LMSYS Chatbot Arena 等静态或用户投票式评测，它能缓解区分度不足、模型各自独立生成和投票偏好偏差等问题。
Hugging Face BlogAI 评分5252 Hugging Face 与 Atla 推出 Judge Arena，众包评测 LLM 作为评判模型的能力
Hugging Face 与 Atla 推出 Judge Arena 平台，让用户对两个 LLM 评判模型在同一测试样本上的打分与理由进行投票，结果以 Elo 分数汇入每小时更新的公开排行榜。
OpenAI NewsAI 评分2929 OpenAI 推出事实性评测基准 SimpleQA
OpenAI 推出事实性基准 SimpleQA，用于衡量语言模型回答简短事实性问题的能力。
Hugging Face BlogAI 评分4848 CinePile 2.0 发布：用对抗式精炼打造更强的长视频问答数据集
Hugging Face 等团队发布长视频问答数据集 CinePile 2.0，核心改进来自其提出的对抗式数据精炼方法。初代 CinePile 于 2024 年 5 月上线，含约 300,000 训练样本和 5,000 测试样本，人类成绩曾领先最佳商业视觉模型 25%、开源模型 65%。
OpenAI NewsAI 评分2727 OpenAI 发布 MLE-bench：评估 AI 智能体的机器学习工程能力
OpenAI 推出 MLE-bench，一个用于衡量 AI 智能体在机器学习工程任务上表现的评测基准。该基准目前仅随发布消息公布，具体评测任务与结果尚未在文中给出。
Hugging Face BlogAI 评分2828 Hugging Face 推出 Open FinLLM Leaderboard 金融大模型评测榜单
Hugging Face 推出 Open FinLLM Leaderboard，一个专为金融领域设计的大模型评测榜单，填补通用 NLP 基准难以评估金融任务的空白。榜单覆盖信息提取、文本分析、问答、文本生成、预测、风险管理和决策七大类任务，采用 Accuracy、F1、ROUGE、MCC 等指标。评测采用 zero-shot 方式，测试模型在未见过的金融任务上的泛化能力。
Hugging Face BlogAI 评分3434 BenCzechMark：评测你的 LLM 能否理解捷克语
Hugging Face 推出 BenCzechMark，这是首个也是目前最全面的捷克语大语言模型评测套件，包含覆盖 9 个类别的 50 个任务，其中 90% 为原生非翻译内容，涵盖阅读理解、事实知识、语法、语言建模、数学推理等维度。评测同时配套上线 BenCzechMark 排行榜，收录了超过 25 个不同规模的开源模型，并使用 Acc、EM、AUROC 和词级 Ppl 四类指标进行评分。
OpenAI NewsAI 评分5151 OpenAI 发布 SWE-bench Verified 人工验证子集
OpenAI 发布 SWE-bench 的人工验证子集 SWE-bench Verified，用于更可靠地评估 AI 模型解决真实软件问题的能力。
Hugging Face BlogAI 评分4949 BigCodeBench：HumanEval 的新一代继任者
Hugging Face 发布 BigCodeBench，用于在无污染的实际编程任务上评估大语言模型，定位为 HumanEval 的新一代继任者。
Hugging Face BlogAI 评分4848 Artificial Analysis 推出 Text to Image 排行榜与 Arena
Artificial Analysis 与 Hugging Face 推出基于人类偏好的 Text to Image 排行榜和 Image Arena，ELO 分数基于 Arena 收集的 45,000 多条人类图像偏好计算，每个模型生成 700 多张图像。
Hugging Face BlogAI 评分3434 Hugging Face 推出 Open Arabic LLM Leaderboard 阿拉伯语大模型排行榜
Hugging Face 与 TII 推出 Open Arabic LLM Leaderboard（OALL），为阿拉伯语大模型提供专门的评测与比较平台，服务全球超 3.8 亿阿拉伯语使用者。
Hugging Face BlogAI 评分2929 Hugging Face 推出希伯来语 LLM 开放排行榜
Hugging Face 推出专门评估希伯来语大语言模型的开放排行榜，包含四个基准：希伯来语问答（HeQ 数据集）、情感分析、Winograd Schema 指代消解和英希翻译，均采用 few-shot 提示格式评测。
Hugging Face BlogAI 评分5656 Artificial Analysis LLM 性能排行榜登陆 Hugging Face
Artificial Analysis 与 Hugging Face 合作上线 LLM Performance Leaderboard，覆盖 100 多个 serverless LLM API 端点的质量、价格与速度指标。
Hugging Face BlogAI 评分5454 Hugging Face 与 Dottxt 探索用结构化生成提升提示词一致性
Hugging Face Leaderboards 团队与 Dottxt 合作研究发现，MMLU 评测对提示词格式高度敏感，各模型分数随 8 种格式波动约 10 个点，Qwen1.5-7B 在不同提示下准确率从 22.9% 到 51.2%，且模型排名也随格式变化。
Hugging Face BlogAI 评分3838 Hugging Face 推出 Open CoT Leaderboard 链式推理排行榜
Hugging Face 推出 Open CoT Leaderboard，追踪 LLM 生成有效链式推理的能力。榜单不评绝对准确率，而是计算有无 CoT 提示的准确率差值 Δ，以检验 CoT 对准确率的实际影响，并对训练数据污染更稳健。评测采用 LogiQA 和 LSAT 数据集（多数属于 AGIEval），任务以选择题形式呈现，目前已实现 Classic 和 Reflect 两种提示策略。
Hugging Face BlogAI 评分3838 Hugging Face 推出 Open Medical-LLM Leaderboard：医疗领域大语言模型评测基准
Hugging Face 推出 Open Medical-LLM Leaderboard，为医疗领域大语言模型提供标准化评测平台，以 accuracy 为主要指标，覆盖 MedQA、MedMCQA、PubMedQA 及 MMLU 医学相关子集等多个数据集。
Hugging Face BlogAI 评分3838 Hugging Face 推出 LiveCodeBench 排行榜：全面且无污染的代码 LLM 评测
UC Berkeley、MIT 和 Cornell 研究者推出 LiveCodeBench 排行榜，通过从 LeetCode、AtCoder、CodeForces 收集并标注发布日期的题目，检测并防止 benchmark 污染。
Hugging Face BlogAI 评分3838 UCLA 团队推出 ConTextual 基准：评估多模态模型在富文本图像场景中的联合推理能力
UCLA 研究者发布 ConTextual 基准，包含 506 条指令，覆盖时间读取、导航、信息图等 8 类富文本视觉场景，用于评估多模态模型对文字与图像的上下文联合推理能力，并附带排行榜。
Hugging Face BlogAI 评分4444 Hugging Face 发布 TTS Arena：社区众测语音合成模型
Hugging Face 推出 TTS Arena，一个让任何人对比并投票评选 TTS 模型的社区平台，借鉴 LMSys 的 Chatbot Arena 模式。
Hugging Face BlogAI 评分2727 Upstage 推出 Open Ko-LLM Leaderboard：引领韩语 LLM 评估生态
Upstage 于 2023 年 9 月在 Hugging Face 上推出 Open Ko-LLM Leaderboard，构建韩语 LLM 评估生态。该排行榜采用 Ko-MMLU、Ko-ARC、Ko-HellaSwag、Ko-Truthful QA、Ko-CommonGEN V2 五项韩语基准，并采用不公开的私有测试集以防污染。
Hugging Face BlogAI 评分3636 NPHardEval 排行榜上线：用复杂度类与动态更新测大语言模型推理能力
密歇根大学和罗格斯大学研究团队推出 NPHardEval 排行榜，通过基于计算复杂度类的 900 道算法题（覆盖 P、NP-complete、NP-hard 共 9 种算法、10 个难度级别）评估 LLM 推理能力。