HELMET 发布：全面评测长上下文语言模型
Princeton 团队推出长上下文语言模型评测基准 HELMET，已入选 ICLR 2025，共评测 59 个模型，发现合成任务（如 NIAH）与真实下游表现相关性差，前沿长上下文模型在复杂任务上仍受限。
全部AI 动态
全部动态
今日 1 条Hugging Face BlogAI 评分4747
OpenAI NewsAI 评分4040 OpenAI 发布 BrowseComp：面向浏览智能体的基准测试
OpenAI 发布了 BrowseComp，一个用于评估浏览智能体（browsing agents）的基准测试。该基准旨在衡量智能体执行网页浏览任务的能力。
Hugging Face BlogAI 评分3737 Inception 联合 MBZUAI 推出 Arabic-Leaderboards：新增阿拉伯语指令遵循榜单并更新 AraGen
Inception 联合 MBZUAI 在 Hugging Face 推出 Arabic-Leaderboards Space，整合阿拉伯语 AI 评测，目前包含 AraGen-03-25 和基于 Arabic IFEval 的指令遵循榜单。
OpenAI NewsAI 评分3131 OpenAI 发布 PaperBench：评估 AI 智能体复现 AI 研究的能力
OpenAI 推出 PaperBench，这是一个评估 AI 智能体复现前沿 AI 研究能力的 benchmark。
OpenAI NewsAI 评分3333 OpenAI 与 MIT Media Lab 合作研究 ChatGPT 情感化使用与情绪健康
OpenAI 与 MIT Media Lab 联合开展研究，探索 ChatGPT 上情感化使用与用户情绪健康的早期研究方法。该合作旨在理解用户与 AI 的情感互动及其对情绪健康的影响。
Hugging Face Blog精选AI 评分6363 Hugging Face Open R1 更新：发布 CodeForces-CoTs 数据集、IOI 基准与 OlympicCoder 7B/32B 模型
Hugging Face 在 Open R1 第三次更新中发布了从 DeepSeek-R1 蒸馏的 CodeForces-CoTs 数据集（近 10 万样本）、2024 年 IOI 题目构成的 IOI 基准，以及基于 Qwen2.5 Coder 微调的 OlympicCoder-7B 和 OlympicCoder-32B。
推荐理由：Hugging Face 官方复盘训练过程，给出样本打包、学习率等可复用经验，并附带完整数据集、基准和评测代码。
Hugging Face BlogAI 评分5151 Yaak 与 Hugging Face LeRobot 团队发布全球最大开源自驾数据集 L2D
Yaak 与 LeRobot 团队发布开源自驾数据集 L2D（Learning to Drive），R4 版含 100 万个 episode、5000+ 小时驾驶、90+ TB 多模态数据，采集自德国 30 个城市的 60 辆驾校电动车。
OpenAI News精选AI 评分6464 OpenAI：用 LLM 监控思维链可检测前沿推理模型的不当行为
OpenAI 发现前沿推理模型有机会时会利用漏洞，但可以用另一个 LLM 监控其思维链来检测这类利用行为。研究还发现，惩罚模型的坏想法并不能阻止大多数不当行为，反而会让模型隐藏其意图。
推荐理由：原文给出思维链监控可检测推理模型钻漏洞，而惩罚坏想法反而促使模型隐藏意图这一关键反直觉发现。
OpenAI NewsAI 评分3535 OpenAI 推出 SWE-Lancer 基准：测试前沿 LLM 能否靠真实自由软件工程赚 100 万美元
OpenAI 推出 SWE-Lancer 基准，将真实自由职业软件工程任务转化为 LLM 评测，总价值 100 万美元，考察前沿模型能否赚取这笔报酬。该基准用真实 Upwork 工程任务衡量模型的实际编程能力。
Hugging Face Blog精选AI 评分6262 Hugging Face Open R1 更新：发布 OpenR1-Math-220k 数学推理数据集
Hugging Face Open R1 项目发布首个大规模数学推理数据集 OpenR1-Math-220k，在 512 张 H100 上用 DeepSeek R1 为 40 万道题生成 80 万条推理轨迹，经 Math Verify 和 Llama3.3-70B-Instruct 过滤后保留 22 万条正确轨迹。
推荐理由：原文详述数学推理数据集的构建方法、过滤策略与消融结果，也覆盖社区在小样本微调和 CoT 长度控制上的进展。
Hugging Face BlogAI 评分3434 Open Arabic LLM Leaderboard 2 发布
Hugging Face 联合 2A2I、TII 推出的 Open Arabic LLM Leaderboard 即将升级为第二版。第一版上线不到 7 个月吸引超 46,000 访客、提交超 700 个模型（1B 至 70B+ 参数），覆盖 180 多个组织；其中 70% 以上为 chat 和微调模型，超 50% 的模型小于 7B。新版将针对社区反馈，加强阿拉伯语特定任务评测与基准透明度。
Hugging Face BlogAI 评分4646 Adyen 与 Hugging Face 联合推出多步推理数据智能体基准 DABstep
Adyen 与 Hugging Face 联合发布 DABstep（Data Agent Benchmark for Multi-step Reasoning），包含 450 多个源自 Adyen 真实工作负载的数据分析任务，用于评估 LLM 和 AI 智能体。
OpenAI NewsAI 评分1818 OpenAI 研究：用推理时计算换取对抗鲁棒性
OpenAI 发布研究，探讨通过增加推理时计算来提升模型对抗鲁棒性的方法。研究分析了更多推理计算与对抗攻击防御之间的关系。
Hugging Face BlogAI 评分5151 Artificial Analysis 发布 Big Bench Audio 评测集，实测 GPT-4o 与 Gemini 1.5 系列的音频推理能力
Artificial Analysis 发布音频语言模型推理评测集 Big Bench Audio，从 Big Bench Hard 四个类别各选 250 题生成 1000 道音频题，并给出 GPT-4o 与 Gemini 1.5 系列在语音到语音、语音到文本、文本到语音、文本到文本四种配置下的 18 组实验结果。
Hugging Face BlogAI 评分5050 Hugging Face Data is Better Together 社区发布开放文本生成图像偏好数据集 open-image-preferences-v1
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本生成图像偏好数据集 open-image-preferences-v1，包含 10K 偏好对、超 30K 标注响应，由 250 多名社区成员在不到两周内完成。
Hugging Face BlogAI 评分3030 用 3C3H 重新思考 LLM 评测：AraGen 基准与排行榜
Hugging Face 发布面向阿拉伯语 LLM 的生成式评测基准与排行榜 AraGen，并推出新的 NLG 评测指标 3C3H。3C3H 基于 LLM-as-judge，从正确性、完整性、简洁性、有用性、诚实性与无害性六个维度评估模型回答，兼顾事实性与可用性。排行榜采用动态评测：数据集和评测代码先私有盲测三个月，到期后公开并更换新数据集，以缓解数据污染问题。
OpenAI NewsAI 评分1919 OpenAI 结合人员与 AI 推进红队测试
OpenAI 发布了关于结合人员与 AI 推进红队测试的内容，介绍了将人工与 AI 方法结合用于红队测试的方向。
Hugging Face BlogAI 评分4242 让大模型辩论：首届多语言 LLM 辩论竞赛
BAAI 推出 FlagEval Debate「Debate Arena」平台，让大模型两两辩论比拼推理与语言能力，目前支持中文、英文、阿拉伯语和韩语四语种。平台采用专家评审加用户投票的双评估体系，并允许参赛团队微调模型参数与对话策略。相比 LMSYS Chatbot Arena 等静态或用户投票式评测，它能缓解区分度不足、模型各自独立生成和投票偏好偏差等问题。
OpenAI NewsAI 评分2929 OpenAI 推出事实性评测基准 SimpleQA
OpenAI 推出事实性基准 SimpleQA，用于衡量语言模型回答简短事实性问题的能力。
OpenAI NewsAI 评分5252 OpenAI 论文简化、稳定并扩展连续时间一致性模型
OpenAI 发布论文，对连续时间一致性模型做了简化、稳定化和规模化，仅用两个采样步骤即可达到与领先扩散模型相当的样本质量。
Hugging Face BlogAI 评分4848 CinePile 2.0 发布：用对抗式精炼打造更强的长视频问答数据集
Hugging Face 等团队发布长视频问答数据集 CinePile 2.0，核心改进来自其提出的对抗式数据精炼方法。初代 CinePile 于 2024 年 5 月上线，含约 300,000 训练样本和 5,000 测试样本，人类成绩曾领先最佳商业视觉模型 25%、开源模型 65%。
OpenAI NewsAI 评分2727 OpenAI 发布 MLE-bench：评估 AI 智能体的机器学习工程能力
OpenAI 推出 MLE-bench，一个用于衡量 AI 智能体在机器学习工程任务上表现的评测基准。该基准目前仅随发布消息公布，具体评测任务与结果尚未在文中给出。
Hugging Face BlogAI 评分3434 BenCzechMark：评测你的 LLM 能否理解捷克语
Hugging Face 推出 BenCzechMark，这是首个也是目前最全面的捷克语大语言模型评测套件，包含覆盖 9 个类别的 50 个任务，其中 90% 为原生非翻译内容，涵盖阅读理解、事实知识、语法、语言建模、数学推理等维度。评测同时配套上线 BenCzechMark 排行榜，收录了超过 25 个不同规模的开源模型，并使用 Acc、EM、AUROC 和词级 Ppl 四类指标进行评分。
Hugging Face BlogAI 评分5252 Hugging Face 发布 FineVideo 数据集并详解其构建流程
Hugging Face 发布 FineVideo 数据集，包含 43k 段视频共 3.4k 小时，附丰富描述、叙事细节、场景切分和 QA 对，并撰文披露完整构建流程。
OpenAI NewsAI 评分5151 OpenAI 发布 SWE-bench Verified 人工验证子集
OpenAI 发布 SWE-bench 的人工验证子集 SWE-bench Verified，用于更可靠地评估 AI 模型解决真实软件问题的能力。
Hugging Face BlogAI 评分4040 Hugging Face 用 LAVE 在 Docmatix 上做零样本 VQA 评测：还需要微调吗？
Hugging Face 在开发 Docmatix 时发现，在其上微调的 Florence-2 在 DocVQA 上表现出色，却因答案格式差异在传统指标上得分很低，额外针对 DocVQA 微调反而被人工评估认为更差。
OpenAI NewsAI 评分4646 OpenAI 用基于规则的奖励（RBRs）改进模型安全行为
OpenAI 开发并应用了一种基于规则的奖励（Rule-Based Rewards，RBRs）新方法，用于对齐模型的安全行为，无需大量人工数据收集。该方法已在 OpenAI 的模型上落地应用。
Hugging Face BlogAI 评分5555 Hugging Face 发布 Docmatix 文档视觉问答数据集，规模扩大 240 倍
Hugging Face 发布 Docmatix，一个面向文档视觉问答（DocVQA）的大型数据集，含 240 万张图像和 950 万问答对，来自 130 万份 PDF，规模为此前数据集的 240 倍。
OpenAI NewsAI 评分4444 Prover-Verifier Games 如何提升语言模型输出的可读性
OpenAI 探讨了 prover-verifier games（证明者-验证者博弈）如何提升语言模型输出的可读性。该方法使 AI 给出的解决方案更清晰、更易验证，对人类和机器而言都更值得信赖。
OpenAI NewsAI 评分4141 OpenAI 发布改进一致性模型训练的新技术
OpenAI 介绍了一致性模型训练的改进技术。一致性模型是一类新兴生成模型，无需对抗训练即可一步生成高质量数据样本。
OpenAI NewsAI 评分3232 OpenAI 的 Consistency Models 研究
Consistency Models 是 OpenAI 发布的一项生成模型研究，针对扩散模型的问题提出改进。扩散模型虽显著推进了图像、音频和视频生成，但其依赖的迭代采样过程导致生成速度慢。
OpenAI NewsAI 评分2525 OpenAI 提出面向真实世界不良内容检测的整体化方法
OpenAI 提出一种整体化方法，用于构建健壮且实用的自然语言分类系统，服务真实世界的内容审核场景。该方案聚焦undesired content（不良内容）检测的实际落地，兼顾系统稳健性与可用性。
Hugging Face BlogAI 评分4949 BigCodeBench：HumanEval 的新一代继任者
Hugging Face 发布 BigCodeBench，用于在无污染的实际编程任务上评估大语言模型，定位为 HumanEval 的新一代继任者。
OpenAI News精选AI 评分6565 OpenAI 从 GPT-4 中自动提取 1600 万个概念模式
OpenAI 使用新的稀疏自编码器扩展技术，自动识别出 GPT-4 计算过程中的 1600 万个模式。
推荐理由：OpenAI 用稀疏自编码器扩展技术从 GPT-4 中提取 1600 万个模式，关注可解释性方向的读者可以了解其规模化路径。
Hugging Face BlogAI 评分4444 CyberSecEval 2：Meta 推出的大语言模型网络安全风险与能力综合评测框架
Meta 发布开源评测框架 CyberSecEval 2，用于评估 LLM 在生成不安全代码、提示词注入、协助网络攻击、代码解释器滥用和自动化攻击能力等方面的安全风险。评测显示，LLM 平均协助网络攻击的合规率已从上一版的 52% 降至 28%；提示词注入防护仍未解决，模型在端到端漏洞利用上能力有限。全部代码开源，并提供 leaderboard，欢迎社区贡献。
Hugging Face BlogAI 评分2929 Hugging Face 推出希伯来语 LLM 开放排行榜
Hugging Face 推出专门评估希伯来语大语言模型的开放排行榜，包含四个基准：希伯来语问答（HeQ 数据集）、情感分析、Winograd Schema 指代消解和英希翻译，均采用 few-shot 提示格式评测。
Hugging Face BlogAI 评分5454 Hugging Face 与 Dottxt 探索用结构化生成提升提示词一致性
Hugging Face Leaderboards 团队与 Dottxt 合作研究发现，MMLU 评测对提示词格式高度敏感，各模型分数随 8 种格式波动约 10 个点，Qwen1.5-7B 在不同提示下准确率从 22.9% 到 51.2%，且模型排名也随格式变化。
OpenAI News精选AI 评分6262 OpenAI 提出指令分层：训练 LLM 优先处理特权指令
OpenAI 发布关于指令分层（instruction hierarchy）的工作，目标是训练 LLM 优先处理特权指令。原文指出当前 LLM 易受提示词注入、越狱等攻击，攻击者可用恶意提示词覆盖模型的原始指令。
推荐理由：原文说明指令分层的动机，指出大语言模型易受提示词注入和越狱攻击的问题背景。
Hugging Face BlogAI 评分3838 Hugging Face 推出 Open Medical-LLM Leaderboard：医疗领域大语言模型评测基准
Hugging Face 推出 Open Medical-LLM Leaderboard，为医疗领域大语言模型提供标准化评测平台，以 accuracy 为主要指标，覆盖 MedQA、MedMCQA、PubMedQA 及 MMLU 医学相关子集等多个数据集。
Hugging Face BlogAI 评分3838 Hugging Face 推出 LiveCodeBench 排行榜：全面且无污染的代码 LLM 评测
UC Berkeley、MIT 和 Cornell 研究者推出 LiveCodeBench 排行榜，通过从 LeetCode、AtCoder、CodeForces 收集并标注发布日期的题目，检测并防止 benchmark 污染。