Hugging Face 发布 BenchMIRT：审计 LLM 基准实际测的是什么
Hugging Face 推出 BenchMIRT，一种基于多维 IRT 的方法，用于在题目层面审计 LLM 基准的真实测量内容。该方法基于 100 个 LLM、16 个基准和超过 34K 道题的结果训练，未事先标注即独立恢复出安全与通用推理两个维度。分析发现 BBQ 和 WMDP 得分与通用推理的关联强于安全，HarmBench 的版权类题目也更偏向通用推理。
#开源生态
#开源生态
今日 0 条Hugging Face BlogAI 评分4343
Hugging Face Blog精选AI 评分6060 Open ASR Leaderboard 新增 Monsoon 印地语与印度英语评测集
Voice Arena 与 Hugging Face 合作，在 Open ASR Leaderboard 引入 Monsoon en-IN 和 Monsoon hi-IN 两套评测集，覆盖 4,888 名说话人，印地语是该多语言榜单上首个非欧洲语言。
推荐理由：原文给出 Monsoon 四个评测集的采集设计与区域误差分析样例，读者可以了解带说话人元数据的 ASR 评测能揭示什么。
Import AIAI 评分3434 Import AI 469：科学 AI、RSI 模拟器与 DiG-bench 游戏探索基准
DiG-bench 是一个包含 70 款隐藏规则游戏的基准，用于测试 AI 通过探索发现环境规则的能力，来自牛津、Princeton、MIT 等机构，作者包括 Juergen Schmidhuber。
Hugging Face Blog精选AI 评分8080 Hugging Face 复盘 ICML 2026 开源复现挑战赛：1,221 人用编码智能体复现 2,226 篇论文
Hugging Face 于 7 月 15 日至 8 月 2 日举办 ICML 2026 Open Reproductions 挑战赛，1,221 名社区成员用 Claude Code、Codex、Cursor 等智能体逐条复现论文，19 天内发布 6,816 份 Trackio logbook，覆盖 2,226 篇论文，约占会议的 34%。
推荐理由：原文基于一次大规模复现活动的第一手数据，给出可复现率、证伪案例和人类在 Agent 审稿中的角色判断。
Hugging Face BlogAI 评分4444 FFASR 远场语音识别排行榜发布：在真实声学环境下评测 ASR
Treble Technologies 与 Hugging Face 联合推出 FFASR Leaderboard，首个开放的社区驱动远场 ASR 基准，覆盖 14 个模拟房间并与实测数据做了 sim-to-real 验证。
Hugging Face BlogAI 评分4646 QIMMA：一个质量优先的阿拉伯语 LLM 排行榜
Hugging Face 推出 QIMMA（قِمّة，意为“峰顶”），先对基准做质量校验再评估模型，确保分数反映真实的阿拉伯语能力。QIMMA 整合 14 个基准的 109 个子集、超 52,000 样本，覆盖文化、STEM、法律、医疗、安全、文学和代码 7 个领域，99% 为原生阿拉伯语内容。
Google ResearchAI 评分3838 Google Research 用 AI 生成的合成神经元加速大脑连接组重建
Google Research 的 MoGen 模型基于 PointInfinity point cloud flow matching，用 1,795 条经人工验证的小鼠轴突训练生成合成神经元形态，扩充 PATHFINDER 重建模型的训练数据。
Hugging Face BlogAI 评分3333 Hugging Face 开源 Ecom-RLVE：面向电商对话智能体的自适应可验证环境
Hugging Face 将 RLVE 框架从单轮推理任务扩展到多轮、带工具调用的电商对话场景，推出 EcomRLVE-GYM，提供 8 个可算法验证的环境，如商品发现、换货、购物车构建、订单追踪等。
Google ResearchAI 评分3535 Google Research 推出 DialogLab：编写、模拟和测试动态人-AI 群组对话的开源框架
Google Research 在 ACM UIST 2025 上推出开源原型框架 DialogLab，用于编写、模拟和测试动态的人-AI 群组对话。框架通过“author-test-verify”三阶段工作流，将社交设置与对话时间推进解耦，提供拖放画布、human control 模式和可视化验证仪表盘。
Hugging Face BlogAI 评分4444 Open ASR Leaderboard 新增多语言与长音频赛道，并发布 ASR 趋势洞察
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转写赛道，目前对比 18 个机构的 60 多个开源与闭源模型，覆盖 11 个数据集。
Hugging Face BlogAI 评分5151 Hugging Face 发布 RTEB 基准，用开放与私有数据集评估嵌入模型真实检索泛化能力
Hugging Face 发布 Retrieval Embedding Benchmark（RTEB）测试版，旨在可靠评估嵌入模型在真实应用中的检索准确性。它采用开放与私有数据集结合的混合策略来检测基准过拟合，覆盖 20 种语言和法律、医疗、代码、金融等企业领域，默认榜单指标为 NDCG@10，榜单已上线于 MTEB 排行榜的检索板块。
Hugging Face BlogAI 评分5555 Hugging Face 发布 Smol2Operator：将 SmolVLM2-2.2B 训练为 GUI 智能体的完整开源方案
Hugging Face 发布 Smol2Operator 方案，将无 GUI 定位能力的 SmolVLM2-2.2B-Instruct 通过两阶段 SFT 训练为 GUI 智能体，在 ScreenSpot-v2 上从基线 0 提升到 61.71%。
Hugging Face Blog精选AI 评分6161 Meta 发布 Gaia2 智能体基准及开源评估框架 ARE
Meta 的 Hugging Face 团队发布 GAIA 后续基准 Gaia2 和配套开源框架 Meta Agents Research Environments（ARE），Gaia2 数据集采用 CC BY 4.0 许可，ARE 采用 MIT 许可。
推荐理由：官方发布新基准 Gaia2 和开源评估框架 ARE，含七类任务和主流模型结果，便于开发者调试和评估自己的 Agent。
Hugging Face BlogAI 评分4646 SandboxAQ 发布 SAIR：AI 结构智能加速药物研发，最大共折叠蛋白-配体 3D 结构数据集上线 Hugging Face
SandboxAQ 发布开源数据集 SAIR，提供超过 500 万（5.24 million）个 AI 生成的蛋白-配体 3D 共折叠结构，每个结构均配有来自 ChEMBL 或 BindingDB 的实测 IC₅₀ 数据，以 CC BY 4.0 许可免费开放。
Hugging Face BlogAI 评分3737 FilBench：评估 LLM 能否理解并生成菲律宾语的评测基准
Hugging Face 团队推出 FilBench 评测套件，覆盖 Tagalog、Filipino 和 Cebuano 三种语言，包含 Cultural Knowledge、Classical NLP、Reading Comprehension 和 Generation 四大类共 12 项任务，并据此评估了 20 多个主流 LLM。
OpenAI NewsAI 评分4848 OpenAI 研究 gpt-oss 开放权重模型的最坏情况前沿风险
OpenAI 发布论文，评估发布 gpt-oss 开放权重模型的最坏情况前沿风险。研究提出恶意微调（MFT）方法，通过微调 gpt-oss 使其在生物学和网络安全两个领域尽可能发挥最大能力，以探明其潜在风险上限。
Hugging Face BlogAI 评分3737 Hugging Face 发布 3LM：面向阿拉伯语 LLM 的 STEM 与代码基准
Hugging Face 推出 3LM，首个针对阿拉伯语 LLM 评测 STEM 与代码生成的多组件基准，包含 865 道原生 STEM 选择题、1,744 道合成高难度题，以及由 HumanEval+ 和 MBPP+ 翻译的阿拉伯语代码数据集。
Hugging Face BlogAI 评分4848 Hugging Face 发布 ScreenSuite：最全面的 GUI Agent 评测套件
Hugging Face 发布 ScreenSuite，一套覆盖感知、定位、单步操作和多步智能体四类能力的 GUI Agent 评测套件，整合 13 个基准，如 ScreenQA-Short、ScreenSpot-Pro、AndroidWorld 和 OSWorld。
Hugging Face Blog精选AI 评分6363 Hugging Face Open R1 更新：发布 CodeForces-CoTs 数据集、IOI 基准与 OlympicCoder 7B/32B 模型
Hugging Face 在 Open R1 第三次更新中发布了从 DeepSeek-R1 蒸馏的 CodeForces-CoTs 数据集（近 10 万样本）、2024 年 IOI 题目构成的 IOI 基准，以及基于 Qwen2.5 Coder 微调的 OlympicCoder-7B 和 OlympicCoder-32B。
推荐理由：Hugging Face 官方复盘训练过程，给出样本打包、学习率等可复用经验，并附带完整数据集、基准和评测代码。
Hugging Face BlogAI 评分3434 Open Arabic LLM Leaderboard 2 发布
Hugging Face 联合 2A2I、TII 推出的 Open Arabic LLM Leaderboard 即将升级为第二版。第一版上线不到 7 个月吸引超 46,000 访客、提交超 700 个模型（1B 至 70B+ 参数），覆盖 180 多个组织；其中 70% 以上为 chat 和微调模型，超 50% 的模型小于 7B。新版将针对社区反馈，加强阿拉伯语特定任务评测与基准透明度。
Hugging Face BlogAI 评分5050 Hugging Face Data is Better Together 社区发布开放文本生成图像偏好数据集 open-image-preferences-v1
Hugging Face 的 Data is Better Together 社区发布 Apache 2.0 许可的文本生成图像偏好数据集 open-image-preferences-v1，包含 10K 偏好对、超 30K 标注响应，由 250 多名社区成员在不到两周内完成。
Hugging Face BlogAI 评分3434 BenCzechMark：评测你的 LLM 能否理解捷克语
Hugging Face 推出 BenCzechMark，这是首个也是目前最全面的捷克语大语言模型评测套件，包含覆盖 9 个类别的 50 个任务，其中 90% 为原生非翻译内容，涵盖阅读理解、事实知识、语法、语言建模、数学推理等维度。评测同时配套上线 BenCzechMark 排行榜，收录了超过 25 个不同规模的开源模型，并使用 Acc、EM、AUROC 和词级 Ppl 四类指标进行评分。
Hugging Face BlogAI 评分5252 Hugging Face 发布 FineVideo 数据集并详解其构建流程
Hugging Face 发布 FineVideo 数据集，包含 43k 段视频共 3.4k 小时，附丰富描述、叙事细节、场景切分和 QA 对，并撰文披露完整构建流程。
Hugging Face BlogAI 评分2929 Hugging Face 推出希伯来语 LLM 开放排行榜
Hugging Face 推出专门评估希伯来语大语言模型的开放排行榜，包含四个基准：希伯来语问答（HeQ 数据集）、情感分析、Winograd Schema 指代消解和英希翻译，均采用 few-shot 提示格式评测。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 Cosmopedia：详解如何为预训练大语言模型生成大规模合成数据
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集，含超 3000 万文件、250 亿 token，旨在复现 Phi-1.5 的训练数据。
推荐理由：官方详解大规模预训练合成数据的构建流程，提示词策划、聚类与去污染方法均可迁移到类似的数据生成项目。
Hugging Face BlogAI 评分4242 Hugging Face 推出 WebSight 数据集，解锁网页截图转 HTML 代码
Hugging Face 发布开源数据集 WebSight，用于训练视觉语言模型将网页截图转换为 HTML 代码。其最新版 WebSight-v0.2 扩展至 200 万个样本，改用真实图像和 Tailwind CSS。基于该数据集微调的模型 Sightseer 可将截图转为可运行的 HTML，并能在生成代码中嵌入与原图相近的图像。
Hugging Face BlogAI 评分5050 Hugging Face 推出开源幻觉排行榜，评估大语言模型的幻觉问题
Hugging Face 推出开源的 Hallucinations Leaderboard，通过上下文学习（in-context learning）在多个幻觉相关基准上评估大语言模型的可靠性。
Hugging Face BlogAI 评分5454 Hugging Face 排查 Open LLM Leaderboard 中 DROP 评测分数异常并暂时移除该基准
Hugging Face 宣布从 Open LLM Leaderboard 中移除 DROP 基准，原因是多数模型 f1 分数异常低于 10。排查发现归一化步骤会漏掉后接非空格空白字符的数字，且以句号作为生成结束符会截断浮点答案并拉低高质量模型分数；按换行符重切分后分数与整体表现相关性明显改善。团队在与 EleutherAI 讨论后决定待新版本评测开发完成前先移除 DROP，并邀请社区反馈。
Hugging Face BlogAI 评分5656 Hugging Face 解析 Open LLM Leaderboard 上 MMLU 分数差异的来源
Hugging Face 团队调查 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数低于论文报告值的原因，发现同一 MMLU 数据集存在 Original、HELM 和 EleutherAI Harness 三种实现。
Hugging Face Blog精选AI 评分7878 Hugging Face 集成 bitsandbytes 4bit 量化与 QLoRA，降低 LLM 使用门槛
Hugging Face 与 bitsandbytes 合作，在 transformers 中支持 4bit 量化加载，并集成 Dettmers 等人新提出的 QLoRA 微调方法。
推荐理由：官方详细讲解 transformers 中 4bit 量化和 QLoRA 的用法与配置，附带在消费级 GPU 上微调 Llama 7B/13B 的实测结果。
Hugging Face BlogAI 评分4545 MTEB：大规模文本嵌入基准发布
Hugging Face 发布 MTEB（Massive Text Embedding Benchmark），用于衡量文本嵌入模型在多种任务上的表现，排行榜已汇总超过 2000 个结果。
Hugging Face Blog精选AI 评分6161 Hugging Face 发布 DeDLOC 协作训练方法并用 40 名志愿者预训练 sahajBERT
Hugging Face 联合 Yandex Research 等机构提出 DeDLOC 分布式协作训练方法，可自适应参与者的网络与硬件条件。该方法由 40 名志愿者协同预训练了孟加拉语模型 sahajBERT（约 18M 参数，基于 ALBERT），在 NER 上 F1 达 95.45、NCC 准确率 91.97，结果与数百块 V100 训练的 XLM-R-large 相当。
推荐理由：原文给出 DeDLOC 协作训练方法细节和 40 名志愿者预训练 sahajBERT 的实测结果，含下游任务对比数据，方法可复用。