Google Research 研究:构建更好的 AI benchmark 需要多少标注者才够?
Google Research 在论文 "Forest vs Tree: The (N,K) Trade-off in Reproducible ML Evaluation" 中研究了 AI 评测中每题标注数(K)与标注条目数(N)之间的可复现性权衡,模拟器已开源在 GitHub。
Google Research 在论文 "Forest vs Tree: The (N,K) Trade-off in Reproducible ML Evaluation" 中研究了 AI 评测中每题标注数(K)与标注条目数(N)之间的可复现性权衡,模拟器已开源在 GitHub。
OpenMed 构建了覆盖结构预测、序列设计与密码子优化的端到端蛋白质 AI 流水线。在对比多种 transformer 架构后,CodonRoBERTa-large-v2 胜出,困惑度 4.10、Spearman CAI 相关性 0.40,显著超过 ModernBERT;团队随后扩展到 25 个物种,用 55 GPU 小时训练了 4 个生产模型,建立了其他开源项目没有的物种条件化系统。
NVIDIA 在 Hugging Face 博客发布教程,用 6 条命令在单张 80GB GPU、不到一天内把 Llama-Nemotron-Embed-1B-v2 微调为领域专用嵌入模型,无需人工标注。
推荐理由:原文给出从文档到部署的完整六步命令与关键超参数,读者可照此在单卡上微调自己的领域嵌入模型。
Hugging Face 发布 2026 年春季开源生态分析,过去一年用户增长至 1300 万、公开模型超 200 万、公开数据集超 50 万。
推荐理由:Hugging Face 用平台自身数据刻画开源 AI 一年来的竞争、地理与社区变化,读者可以据此把握生态格局的量化走向。
Berkeley AI Research 提出可在大规模下识别关键交互的 SPEX 与 ProxySPEX 算法,通过消融实验解释 LLM 行为。SPEX 利用稀疏性和低度性将交互发现转化为稀疏恢复问题,规模较此前方法提升数个数量级;ProxySPEX 进一步利用层级结构,以约 10x 更少的消融达到与 SPEX 相当的性能。二者可用于特征归因、数据归因和模型组件归因。
Google Research 推出 Groundsource,利用 Gemini 从 80 种语言的新闻报告中提取结构化洪水事件,生成覆盖 150 多个国家、2000 年至今的 260 万条记录的开源数据集。
OpenAI 的 IH-Challenge 训练模型优先遵循可信指令,以改进前沿 LLM 的指令层级。该方法同时提升了安全可操纵性,并增强了对提示词注入攻击的抵抗力。
Hugging Face 为给 TRL 设计新的异步训练器,调研了 16 个围绕异步 RL 训练构建的开源库,并从编排原语、rollout 缓冲、权重同步协议、staleness 管理、partial rollout、LoRA 支持和分布式训练后端 7 个维度对比。
Hugging Face 官方博客详解 Ulysses Sequence Parallelism 的原理,通过注意力头并行将长序列训练扩展到多卡,已集成到 Accelerate、Transformers Trainer 和 TRL 的 SFTTrainer。
Google Research 推出大规模开放语音数据集 WAXAL,覆盖撒哈拉以南非洲 27 种语言、超过 1 亿使用者。首批包含约 1,846 小时转写自然语音(WAXAL-ASR,采用图像提示引发自发话语)和 565 小时以上高保真 TTS 录音,以 CC-BY-4.0 许可发布,由 Makerere 大学、加纳大学等非洲机构主导采集,后续计划持续扩展语言。
Photoroom 以约 $1500 算力预算(32 张 H200,$2/小时/GPU)在 24 小时内完成文生图扩散模型训练,并开源 PRX 训练代码与实验框架。
Hugging Face 发布教程,讲解如何用编码智能体(Claude Code、Codex、Open Code)配合 Unsloth 在 HF Jobs 上微调 LiquidAI/LFM2.5-1.2B-Instruct。
推荐理由:官方教程给出用编码智能体加 Unsloth 在 HF Jobs 上微调小模型的完整流程,含脚本、命令和各尺寸 GPU 的每小时成本参考。
Google Research 发布 MapTrace,这是面向多模态大语言模型(MLLM)地图路径追踪任务的新任务、数据集与合成数据生成管线。
SyGra 2.0.0 引入交互式环境 Studio,让用户在画布上可视化编排合成数据生成流程,替代 YAML 文件和终端操作。
Photorium 发布 PRX 文生图训练系列第二篇,在统一的 Flow Matching 基线上系统消融各类训练技巧。
Google Research 发布 ATLAS(Adaptive Transfer Scaling Laws),迄今最大规模公开多语言预训练研究,覆盖 774 次训练、10M–8B 参数模型、400+ 语言数据和 48 语言评测。
推荐理由:原文给出多语言训练的跨语言迁移矩阵和预训练与微调的token分界点,开发者可据此规划语言混合与算力预算。
Google Research 在 NeurIPS 2025 上提出 GIST(Greedy Independent Set Thresholding)算法,用于训练数据子集选择,兼顾数据多样性与效用。它将问题分解为一系列最大独立集近似问题,并首次为多样性-效用权衡提供可证明的强保证:所得子集的价值至少为最优解的一半。GIST 在图像分类等任务上超越现有 SOTA 基准。
微软团队(Tianzhu Ye、Li Dong、Yutao Sun、Furu Wei)发布 DIFF Transformer V2,在 DIFF V1 基础上让相减的两个 head 共享同一 GQA 组的 key 和 value,不再增加 KV head,解码速度与标准 Transformer 相当,也无需自定义 attention kernel。
Google 发布在 Science Advances 的论文,介绍 NeuralGCM 通过直接在 2001 至 2018 年 NASA 卫星降水观测上训练,改进全球降水模拟能力。
Hugging Face 博客宣布推出 Falcon-H1-Arabic 阿拉伯语模型家族,包含 3B、7B、34B 三种规格,采用融合 Mamba(State Space Model)与 Transformer 注意力的混合架构。
Google Research 在两篇新论文中推出 Titans 架构和 MIRAS 理论框架,将 RNN 的速度与 Transformer 的精度结合。Titans 用多层感知机作为神经长期记忆模块,通过“惊喜度量”(surprise metric)在运行时选择性存储意外信息,并辅以动量和自适应遗忘机制,实现无需离线重训练的测试时记忆。
OpenAI 宣布收购 Neptune,以深入了解模型行为,并加强研究人员用于跟踪实验和监控训练的工具。
Hugging Face TRL 官方集成 RapidFire AI,可通过 RFSFTConfig、RFDPOConfig、RFGRPOConfig 等近乎零代码的封装并发运行多个微调/后训练配置。
Google 与 Google DeepMind 联合 World Resources Institute 等机构发布 Natural Forests of the World 2020 地图与数据集,成果发表于 Nature Scientific Data。
Google 发布 JAX-Privacy 1.0,一套构建和审计差分隐私(DP)模型的开源工具包,提供 DP-SGD、DP-FTRL、DP 矩阵分解等算法和基于 JAX 的原生并行扩展能力。库内含 per-example 梯度裁剪、噪声注入、微批处理等组件,并附 Keras 下微调 Gemma 系列模型的完整示例,此前曾用于训练 VaultGemma。
Google Research 在 NeurIPS 2025 发表 Nested Learning 论文,将机器学习模型视为多层嵌套的优化问题,统一模型架构与优化算法两个层面。
推荐理由:原文提出把模型架构与优化算法统一为嵌套优化问题的新范式,并给出 Hope 架构的实验验证,对持续学习方向有方法层面的参考价值。
这篇 Berkeley AI Research 博客介绍一种基于分治而非 TD learning 的 off-policy RL 价值学习范式。
MiniMax 团队成员分享 MiniMax M2 后训练中智能体对齐的关键经验。结论包括:智能体需要 Interleaved Thinking,思考可在任务任意阶段发生以应对工具输出等外部扰动。
Hugging Face 发布 datasets 与 huggingface_hub 库的流式加载优化,一行 streaming=True 即可免下载训练多 TB 数据集。
推荐理由:官方给出 streaming 后端的具体优化指标和可复现代码,适合据此评估是否直接用流式替代本地下载来训练大规模数据集。
全球约 2.2 亿人受食物过敏困扰,Hugging Face 发起 AI for Food Allergies 项目,打造首个社区驱动的研究实验室,探索 AI 如何推进食物过敏研究。该项目计划以开放协作的方式桥接 AI 与生物医学,涵盖过敏原预测、药物靶点建模、临床诊断与标签识别等方向,让研究者、临床医生和患者共同受益。
NVIDIA 发布 Nemotron-Personas-India,首个对齐印度真实人口分布的开源合成人物数据集,采用 CC BY 4.0 许可。数据集包含 2100 万个人物(3M 记录 × 7 人物),共 7.7 billion tokens,支持英语和印地语(天城文与拉丁字母),覆盖全部 36 个邦和 640 个地区。
NVIDIA 发布首个面向日本人口统计、地理与文化特征的开源合成人设数据集 Nemotron-Personas-Japan,采用 CC BY 4.0 许可。
Hugging Face 介绍了 SyGra,一个用于 LLM 与 SLM 数据集创建、转换与对齐的低代码/无代码框架。它以 Python 库形式提供,支持 vLLM、Hugging Face TGI、Triton、Ollama 等多种推理后端,用户只需专注于提示词工程。该框架可覆盖 Q&A 生成、DPO 偏好对、推理增强、多语言转换、质量过滤及 RAG 场景等多种数据构建需求。
Hugging Face 发布 LeRobotDataset:v3,将多个 episode 合并到同一 Parquet 和 MP4 文件并通过关系型元数据检索,解决 v2 每集一文件在扩展到数百万 episode 时的文件系统瓶颈。
Hugging Face 发布 Jupyter Agent 项目,用约 2TB Kaggle 笔记本构建 51k 条合成轨迹、近 0.2B tokens 的数据集,微调 Qwen3-4B-Instruct-2507 与 Qwen3-4B-Thinking-2507。
推荐理由:原文完整给出从数据清洗到微调的管线与消融数字,读者可复用其中提升小模型数据科学能力的做法。
Berkeley AI Research 提出理论证明,在从接近零的小初始化等温和近似条件下,word2vec 的学习问题可归约为无加权最小二乘矩阵分解,最终学到的表示等价于对目标矩阵 M* 做 PCA。
NVIDIA 发布 600 万条多语言推理数据集 Nemotron Post-Training Dataset v2,将原有英文推理数据翻译为法语、西班牙语、德语、意大利语和日语五种语言,并保留原始英文推理链。
Numina 与 Kimi 开源 kimina-prover-rl,一个基于 DeepSeek-R1 推理范式、与 Verl 完全兼容的 Lean 4 形式化定理证明训练管线,采用 GRPO 强化学习并配套 kimina-lean-server 验证服务。
Hugging Face 发布开源无代码工具 AI Sheets,用于以电子表格方式构建、转换和增强数据集,可本地部署或在 Hub 上免费试用,支持通过 Inference Providers 调用 Hub 上数千个开放模型(含 OpenAI 的 gpt-oss)。
推荐理由:官方发布的无代码数据处理工具,原文说明了用提示词建列、few-shot 反馈和 LLM 评审等玩法,读者可判断是否引入自己的数据流程。
Hugging Face 与 Axolotl 在 Accelerate 中集成了 ND-Parallel,可通过 ParallelismConfig 类任意组合 DP。