跳到正文

论文研究

值得读的 AI 论文与研究成果:架构创新、训练方法、能力测量与理论进展的精选解读。

最新精选

第 21–37 条 · 共 37 条
11月19日周三
11月13日周四
11月8日周六
  1. Google Research60

    Google Research 提出嵌套学习范式并发布 Hope 架构应对持续学习

    Google Research 在 NeurIPS 2025 发表 Nested Learning 论文,将机器学习模型视为多层嵌套的优化问题,统一模型架构与优化算法两个层面。

    推荐理由:原文提出把模型架构与优化算法统一为嵌套优化问题的新范式,并给出 Hope 架构的实验验证,对持续学习方向有方法层面的参考价值。

11月5日周三
  1. Google Research65

    Google 发布 Project Suncatcher 预印论文,探索基于卫星的可扩展太空 AI 基础设施

    Google 发布预印论文,提出 Project Suncatcher 计划,设想在晨昏太阳同步低地球轨道部署搭载 TPU、以自由空间光链路互联的太阳能卫星星座来扩展 AI 算力。

    推荐理由:Google 官方给出太空 AI 算力设想的关键数据与验证进展,读者可据此了解星载 TPU、星间光链路与发射成本的具体可行性分析。

10月23日周四
  1. Google Research62

    Google 发布 Earth AI 技术论文,详解基础模型与跨模态地理空间推理

    Google 发布 Google Earth AI 相关技术论文,介绍新的 Imagery 与 Population 基础模型,以及由 Gemini 驱动的 Geospatial Reasoning 智能体,用于多步地理空间问答。

    推荐理由:官方同步放出技术论文和评测数字,读者可以据此了解跨模态地理空间推理的实际能力边界与应用案例。

7月23日周三
  1. Mistral AI66

    Mistral AI 发布首个 AI 模型全生命周期环境影响分析

    Mistral AI 与 Carbone 4、ADEME 合作,完成了首个针对大语言模型的全生命周期环境影响分析。数据显示训练 Mistral Large 2 产生 20,4 ktCO₂e、281 000 m³ 水耗和 660 kg Sb eq;Le Chat 生成 400 token 回复的边际影响为 1,14 gCO₂e、45 mL 水和 0,16 mg Sb eq。

    推荐理由:Mistral 公布了自家 LLM 从训练到推理的环境足迹数据和三项报告指标,为 AI 环境影响标准化披露提供了参考方法。

6月18日周三
  1. OpenAI News64

    OpenAI 研究不对齐泛化的理解与预防

    OpenAI 发布研究,探讨在错误回答上训练如何导致语言模型更广泛的不对齐。研究识别出驱动该行为的内部特征,并发现通过极少量微调即可将其逆转。

    推荐理由:OpenAI 官方研究探讨错误回答训练如何引发更广泛的模型不对齐,并指出该内部特征可用极少微调逆转,为对齐研究提供了新方向。

3月10日周一
  1. OpenAI News64

    OpenAI:用 LLM 监控思维链可检测前沿推理模型的不当行为

    OpenAI 发现前沿推理模型有机会时会利用漏洞,但可以用另一个 LLM 监控其思维链来检测这类利用行为。研究还发现,惩罚模型的坏想法并不能阻止大多数不当行为,反而会让模型隐藏其意图。

    推荐理由:原文给出思维链监控可检测推理模型钻漏洞,而惩罚坏想法反而促使模型隐藏意图这一关键反直觉发现。

12月20日周五
  1. OpenAI News60

    OpenAI 发布 Deliberative alignment 研究,让 o1 模型通过推理执行安全规范

    OpenAI 推出面向 o1 模型的新对齐策略 Deliberative alignment,直接教模型安全规范并让其对这些规范进行推理。该方法旨在通过推理能力提升语言模型的安全性。

    推荐理由:OpenAI 官方介绍了 o1 系列采用的对齐策略思路,可作为理解推理能力如何用于安全规范的参考材料。

3月17日周五
7月15日周四
  1. Hugging Face Blog61

    Hugging Face 发布 DeDLOC 协作训练方法并用 40 名志愿者预训练 sahajBERT

    Hugging Face 联合 Yandex Research 等机构提出 DeDLOC 分布式协作训练方法,可自适应参与者的网络与硬件条件。该方法由 40 名志愿者协同预训练了孟加拉语模型 sahajBERT(约 18M 参数,基于 ALBERT),在 NER 上 F1 达 95.45、NCC 准确率 91.97,结果与数百块 V100 训练的 XLM-R-large 相当。

    推荐理由:原文给出 DeDLOC 协作训练方法细节和 40 名志愿者预训练 sahajBERT 的实测结果,含下游任务对比数据,方法可复用。

3月4日周四
  1. OpenAI News65

    OpenAI 发现 CLIP 中的多模态神经元

    OpenAI 发现在 CLIP 中存在对同一概念产生响应的神经元,无论该概念以字面、符号或概念形式呈现。这一现象可能解释了 CLIP 在对概念的出人意料的视觉表现形式进行分类时的准确性,也是理解 CLIP 及类似模型所学习的关联与偏差的重要一步。

    推荐理由:原文指出了 CLIP 中多模态神经元的存在及其对理解模型学习关联与偏差的意义。

1月23日周四
9月19日周四
  1. OpenAI News74

    OpenAI 用人类偏好微调 774M 参数 GPT-2

    OpenAI 用人类反馈微调了 774M 参数的 GPT-2 语言模型,在多种任务上成功匹配外部人工标注者的偏好。摘要任务用了 6 万条人工标注,简单的续写风格任务只需 5 千条;标注者的偏好并非总与团队一致,例如摘要标注者偏好整句照抄原文,模型随之学会了照抄。OpenAI 表示此举旨在让安全技术更接近“机器与人对话”这一通用任务。

    推荐理由:原文给出了用人类偏好微调 GPT-2 的任务效果、标注成本与偏好偏差实例,可了解早期 RLHF 实践细节。

8月11日周五
  1. OpenAI News65

    OpenAI 自对弈 Dota 2 bot 在 1v1 标准赛事规则下击败世界顶尖职业选手

    OpenAI 宣布其 Dota 2 bot 在标准赛事规则的 1v1 对局中击败世界顶尖职业选手。该 bot 从零开始通过自对弈学习,不使用模仿学习或树搜索。作者称这是向在涉及真实人类的混乱复杂环境中完成明确目标的 AI 系统迈出的一步。

    推荐理由:原文点明该 bot 完全靠自对弈从零学习、不用模仿学习和树搜索,可帮助读者理解其在复杂环境 AI 中的定位。

6月13日周二
  1. OpenAI News83

    OpenAI 与 DeepMind 合作提出从人类偏好中学习目标的方法

    OpenAI 与 DeepMind 安全团队合作开发了一种算法,无需人类编写目标函数,通过让人类判断两个候选行为哪个更好来推断人类意图。背景是复杂目标用简单代理函数表达偏差可能引发危险行为,该方法旨在减少这一安全风险。

    推荐理由:OpenAI 与 DeepMind 安全团队合作的算法通过人类两两偏好比较来推断目标,省去手写目标函数,是安全对齐方向的早期基础工作。

3月24日周五