值得读的 AI 论文与研究成果：架构创新、训练方法、能力测量与理论进展的精选解读。
OpenAI 发布分析指出，自 2012 年以来在 ImageNet 分类上达到相同性能所需的训练算力每 16 个月减少一半。相比 2012 年，如今训练到 AlexNet 水平所需算力减少 44 倍，而 Moore's Law 同期只能带来 11 倍的成本改善。作者据此认为，在高投入的 AI 任务上，算法进步带来的收益已超过传统硬件效率提升。
推荐理由：原文量化了算法进步带来的算力节省速度，可与 Moore's Law 对比，帮助理解硬件与算法效率的真实差距。
OpenAI 发表关于神经语言模型缩放定律的研究，原文正文抓取失败，仅标题可用。
OpenAI 发布关于 Dota 2 大规模深度强化学习的文章。材料抓取失败，仅标题可用，正文细节无法确认。
OpenAI 训练了一对神经网络，用仿人机器手还原魔方，训练完全在仿真中进行，采用与 OpenAI Five 相同的强化学习代码和新技术 Automatic Domain Randomization（ADR）。系统能应对训练中未见过的情况，例如被长颈鹿玩偶戳动，表明强化学习可解决需要极高灵巧度的现实物理问题。
推荐理由：原文说明神经网络完全在仿真中训练即可操控机械手还原魔方，并给出 ADR 这一可迁移到其他物理任务的方法。
OpenAI 用人类反馈微调了 774M 参数的 GPT-2 语言模型，在多种任务上成功匹配外部人工标注者的偏好。摘要任务用了 6 万条人工标注，简单的续写风格任务只需 5 千条；标注者的偏好并非总与团队一致，例如摘要标注者偏好整句照抄原文，模型随之学会了照抄。OpenAI 表示此举旨在让安全技术更接近“机器与人对话”这一通用任务。
推荐理由：原文给出了用人类偏好微调 GPT-2 的任务效果、标注成本与偏好偏差实例，可了解早期 RLHF 实践细节。
OpenAI 报告，智能体在其新构建的模拟捉迷藏环境中训练时逐步发现了更复杂的工具使用。智能体建立了六种不同的策略与反制策略，其中一些是团队此前不知道环境所支持的；这种自监督的涌现复杂性表明多智能体协同适应或能产生极为复杂和智能的行为。
推荐理由：原文报告了多智能体博弈中自发涌现工具使用的观察，对理解智能体协同演化行为的读者有背景价值。
OpenAI 宣布其 Dota 2 bot 在标准赛事规则的 1v1 对局中击败世界顶尖职业选手。该 bot 从零开始通过自对弈学习，不使用模仿学习或树搜索。作者称这是向在涉及真实人类的混乱复杂环境中完成明确目标的 AI 系统迈出的一步。
推荐理由：原文点明该 bot 完全靠自对弈从零学习、不用模仿学习和树搜索，可帮助读者理解其在复杂环境 AI 中的定位。
OpenAI 与 DeepMind 安全团队合作开发了一种算法，无需人类编写目标函数，通过让人类判断两个候选行为哪个更好来推断人类意图。背景是复杂目标用简单代理函数表达偏差可能引发危险行为，该方法旨在减少这一安全风险。
推荐理由：OpenAI 与 DeepMind 安全团队合作的算法通过人类两两偏好比较来推断目标，省去手写目标函数，是安全对齐方向的早期基础工作。
OpenAI 开发了一个无监督系统，仅在 Amazon 评论文本上训练预测下一个字符，却学到了优秀的情感表示。方法无需情感标注数据。
推荐理由：原文说明模型仅靠预测 Amazon 评论下一字符就学到优秀情感表示，展示了无监督表征的潜力。
OpenAI 发现进化策略（ES）这一已有数十年历史的优化技术在 Atari、MuJoCo 等现代 RL 基准上可媲美标准强化学习，同时克服了 RL 的诸多不便。
推荐理由：原文指出进化策略在 Atari 和 MuJoCo 基准上可与标准 RL 相当，并避开 RL 的诸多不便。