OpenAI 参与多方报告：提出 10 项机制提升 AI 开发可验证性
OpenAI 参与了一份由 30 家机构、58 位作者共同撰写的多方报告，提出 10 项机制用于提升 AI 系统相关声明的可验证性。报告由未来智能研究中心、Mila 等机构参与完成。开发者可借助这些机制提供 AI 系统安全、公平或隐私保护的证据，用户、政策制定者和公民社会也可用来评估 AI 开发流程。
#OpenAI
#OpenAI
今日 9 条OpenAI NewsAI 评分4141
OpenAI NewsAI 评分3939 OpenAI 发布 Microscope 可视化工具
OpenAI 推出 Microscope，对可解释性研究中常用的 8 个视觉“模型有机体”的每个重要层和神经元进行了可视化。该工具让分析神经网络内部形成的特征更加容易，OpenAI 希望能借此帮助研究社区理解这些复杂系统。
OpenAI NewsAI 评分4141 OpenAI 宣布统一采用 PyTorch 作为深度学习框架
OpenAI 宣布将其深度学习框架标准化为 PyTorch。
OpenAI News精选AI 评分6969 OpenAI 发布语言模型缩放定律研究
OpenAI 发表关于神经语言模型缩放定律的研究，原文正文抓取失败，仅标题可用。
OpenAI NewsAI 评分4848 OpenAI：CNN、ResNets 与 Transformers 中的双重下降现象
OpenAI 发现双重下降（double descent）现象广泛存在于 CNN、ResNets 和 Transformers 中：随着模型规模、数据量或训练时间增加，性能先提升、再下降、随后再次提升。通过仔细的正则化通常可以避免这一效应。该现象目前尚无完整解释，OpenAI 认为对其进一步研究是重要方向。
OpenAI NewsAI 评分4646 OpenAI 发布 Procgen Benchmark：16 个程序化生成环境
OpenAI 发布 Procgen Benchmark，包含 16 个简单易用的程序化生成环境，可直接衡量强化学习智能体学习可泛化技能的速度。该基准可用于评估智能体的泛化能力。
OpenAI NewsAI 评分4242 OpenAI 发布 Safety Gym：衡量强化学习智能体安全约束的工具套件
OpenAI 发布 Safety Gym，这是一套环境和工具，用于衡量强化学习智能体在训练过程中遵守安全约束的进展。该套件面向强化学习安全研究，为相关进展提供统一的度量基准。
OpenAI News精选AI 评分7878 OpenAI 发布 GPT-2 最大版本 1.5B 参数模型
OpenAI 发布 GPT-2 分阶段计划的最终模型，即最大版本 1.5B 参数，同时放出代码和模型权重以帮助检测 GPT-2 的输出。OpenAI 表示虽自 8 月以来已有更大模型出现，仍按原计划完成完整的分阶段发布流程，为社区提供负责任发布的测试案例。
推荐理由：原文交代了 GPT-2 1.5B 作为分阶段发布最终版的开放决策与考量，读者可以了解负责任发布实践的完整案例。
OpenAI News精选AI 评分6464 OpenAI 用机器手求解魔方，训练完全在仿真中完成
OpenAI 训练了一对神经网络，用仿人机器手还原魔方，训练完全在仿真中进行，采用与 OpenAI Five 相同的强化学习代码和新技术 Automatic Domain Randomization（ADR）。系统能应对训练中未见过的情况，例如被长颈鹿玩偶戳动，表明强化学习可解决需要极高灵巧度的现实物理问题。
推荐理由：原文说明神经网络完全在仿真中训练即可操控机械手还原魔方，并给出 ADR 这一可迁移到其他物理任务的方法。
OpenAI NewsAI 评分1111 OpenAI Scholars 2020 开放申请
OpenAI 开放第三期 OpenAI Scholars 项目申请，面向 2020 届学员。该项目是 OpenAI 的学者培养计划，申请渠道现已开启。
OpenAI News精选AI 评分7474 OpenAI 用人类偏好微调 774M 参数 GPT-2
OpenAI 用人类反馈微调了 774M 参数的 GPT-2 语言模型，在多种任务上成功匹配外部人工标注者的偏好。摘要任务用了 6 万条人工标注，简单的续写风格任务只需 5 千条；标注者的偏好并非总与团队一致，例如摘要标注者偏好整句照抄原文，模型随之学会了照抄。OpenAI 表示此举旨在让安全技术更接近“机器与人对话”这一通用任务。
推荐理由：原文给出了用人类偏好微调 GPT-2 的任务效果、标注成本与偏好偏差实例，可了解早期 RLHF 实践细节。
OpenAI News精选AI 评分7373 OpenAI 观察到多智能体捉迷藏中自发涌现工具使用
OpenAI 报告，智能体在其新构建的模拟捉迷藏环境中训练时逐步发现了更复杂的工具使用。智能体建立了六种不同的策略与反制策略，其中一些是团队此前不知道环境所支持的；这种自监督的涌现复杂性表明多智能体协同适应或能产生极为复杂和智能的行为。
推荐理由：原文报告了多智能体博弈中自发涌现工具使用的观察，对理解智能体协同演化行为的读者有背景价值。
OpenAI NewsAI 评分3131 OpenAI 提出评估神经网络抵御未知对抗攻击的新方法与指标 UAR
OpenAI 开发了一种评估神经网络分类器能否可靠抵御训练时未见的对抗攻击的方法，并提出新指标 UAR（Unforeseen Attack Robustness）。该指标用于衡量单个模型面对未预期攻击的鲁棒性，并强调需要在更多样化的未知攻击上测量模型性能。
OpenAI News精选AI 评分6363 OpenAI 发布 774M 参数 GPT-2 模型并公开发布规范经验
OpenAI 在 2 月发布 124M、5 月分阶段发布 355M 之后，发布 774M 参数的 GPT-2 语言模型。同时发布一份开源法律协议，便于机构间建立模型共享合作，并发布技术报告，总结与 AI 研究社区协调发布规范的经验。
推荐理由：OpenAI 官方复盘分阶段释放 774M GPT-2 的决策过程，可了解滥用风险评估如何影响模型发布策略。
OpenAI NewsAI 评分1010 OpenAI 推出 Learning Day：每周四供员工自学技术技能
OpenAI 设立 Learning Day，每周四员工可自主选择学习工作中接触不到、但有助于提升本职工作的技术技能。
OpenAI News精选AI 评分7777 Microsoft 向 OpenAI 投资 10 亿美元并达成 AGI 合作
Microsoft 向 OpenAI 投资 10 亿美元，支持其构建惠益广泛分布的 AGI。双方将在 Microsoft Azure 内共同开发可扩展至 AGI 的软硬件平台和新的 Azure AI 超算技术，Microsoft 将成为 OpenAI 的独家云提供商。
推荐理由：OpenAI 官方宣布与 Microsoft 的投资与合作细节，涵盖资金规模和 Azure 独家云协议，可用于理解双方后续算力布局的起点。
OpenAI NewsAI 评分3030 OpenAI：为什么负责任的 AI 发展需要在安全上合作
OpenAI 发布政策研究论文，提出四种可立即采用的策略以促进 AI 行业在安全规范上的长期合作：沟通风险与收益、技术协作、提高透明度和激励标准。分析指出，行业安全合作对确保 AI 系统安全有益至关重要，但竞争压力可能导致集体行动问题，使 AI 公司在安全上投入不足。
OpenAI NewsAI 评分1010 OpenAI Robotics Symposium 2019
OpenAI 于 2019 年 4 月 27 日举办了首届 OpenAI Robotics Symposium。
OpenAI NewsAI 评分1515 OpenAI Scholars 2019：最终项目展示
OpenAI Scholars 第二期课程结业，八位学员全部完成最终项目，并在 OpenAI 举办的 Scholars Demo Day 上进行了展示。
OpenAI NewsAI 评分1616 OpenAI Fellows 2018 秋季班结业：最终项目成果展示
OpenAI 第二期 Fellows 学员结束 6 个月学徒培训，从机器学习初学者成长为 OpenAI 核心贡献者，并完成各自的最终项目。目前下一期 OpenAI Fellows Summer 2019 正在滚动审核申请。
OpenAI NewsAI 评分3838 OpenAI 发布 MuseNet：可生成 10 种乐器演奏、融合多种风格的 4 分钟乐曲
OpenAI 推出深度神经网络 MuseNet，能生成 10 种不同乐器演奏的 4 分钟乐曲，风格可从乡村音乐跨越到 Mozart 和 Beatles。MuseNet 并未显式编写音乐知识，而是通过在数十万 MIDI 文件上预测下一个 token，自行学会和声、节奏与风格规律。它与 GPT-2 采用相同的大规模 Transformer 无监督通用技术。
OpenAI NewsAI 评分4545 OpenAI 发布 Sparse Transformer，序列建模能力提升 30 倍
OpenAI 开发出 Sparse Transformer，一种在文本、图像和声音等序列预测任务上创造新纪录的深度神经网络。它通过对注意力机制的算法改进，可从比以往长 30 倍的序列中提取模式。
OpenAI News精选AI 评分7878 OpenAI Five 在直播中连胜两局击败 Dota 2 世界冠军 OG
OpenAI Five 在周末决赛中连胜两局击败 Dota 2 世界冠军战队 OG，成为首个战胜电竞世界冠军的 AI。OpenAI Five 和 DeepMind 的 AlphaStar 此前都曾私下战胜过职业选手但输掉过公开职业比赛，这也是 AI 首次在直播中战胜电竞职业选手。
推荐理由：作者本人披露了此前直播对局的失利背景，可帮读者理解这次公开战胜世界冠军与以往私下对局的差别。
OpenAI NewsAI 评分2424 OpenAI Five 决赛
OpenAI 将于 4 月 13 日上午 11:30（太平洋时间）举办 OpenAI Five 的最后一场现场决赛活动。
OpenAI NewsAI 评分3434 OpenAI 探索能量模型（EBM）的隐式生成与泛化方法
OpenAI 在能量模型（EBM）的稳定、可扩展训练上取得进展，样本质量与泛化能力优于现有模型。EBM 生成时通过持续细化答案投入更多算力，在低温下可生成与 GAN 相当的样本，同时具备似然类模型的 mode 覆盖保证。
OpenAI NewsAI 评分2121 OpenAI Scholars 2019：认识本届八位学者
OpenAI 从 550 名申请者中选出 8 位 2019 年 OpenAI Scholars 学者。这批学者拥有文学、哲学、细胞生物学、统计学、经济学、量子物理和商业创新等多元背景。
OpenAI News精选AI 评分8282 OpenAI 成立 capped-profit 公司 OpenAI LP
OpenAI 宣布成立新的 capped-profit 公司 OpenAI LP，用于快速增加在算力和人才方面的投入，同时保留制衡机制以实现其使命。
推荐理由：官方宣布成立 capped-profit 公司，读者可以借此理解 OpenAI 后续加大算力和人才投入的商业结构基础。
OpenAI NewsAI 评分4949 OpenAI 与 Google 研究者合作推出 Activation Atlases 可视化技术
OpenAI 与 Google 研究者合作创建了 Activation Atlases，一种可视化神经元之间交互所能表示内容的新技术。随着 AI 系统被部署到越来越敏感的场景，更好地理解其内部决策过程有助于发现弱点并调查故障。
OpenAI NewsAI 评分4545 OpenAI 发布 Neural MMO：面向强化学习智能体的大规模多智能体游戏环境
OpenAI 发布 Neural MMO，一个面向强化学习智能体的大规模多智能体游戏环境。该平台支持大量数量可变的智能体在持久、开放式的任务中运行。研究表明，纳入更多智能体和物种能带来更好的探索、分化生态位形成以及更高的整体能力。
OpenAI NewsAI 评分1717 OpenAI Spinning Up in Deep RL：Workshop 回顾
2 月 2 日，OpenAI 举办了首期 Spinning Up Workshop，这是其新教育计划的一部分。
OpenAI NewsAI 评分4343 OpenAI：AI 安全研究需要社会科学家参与
OpenAI 发表论文指出，长期 AI 安全研究需要社会科学家参与，才能确保对齐算法在真实人类参与时发挥作用。让先进 AI 系统与人类价值观对齐，需解决人类理性、情感与偏见心理学中的诸多不确定性。OpenAI 希望推动机器学习与社会科学研究者合作，并计划全职招聘社会科学家。
OpenAI News精选AI 评分8181 OpenAI 训练大规模无监督语言模型，无需任务特定训练即可完成多任务
OpenAI 训练了一个大规模无监督语言模型，能生成连贯段落文本，在多项语言建模基准上达到当时最优表现。该模型无需任务特定训练即可完成基础阅读理解、机器翻译、问答和摘要任务。
推荐理由：OpenAI 自述该无监督语言模型在多项基准上达到 SOTA 并零样本完成多任务，可作为了解无任务特定训练能力的背景材料。
OpenAI NewsAI 评分1616 OpenAI Fellows 2018 夏季班结业：学员项目成果展示
首期 OpenAI Fellows 项目结业，每位学员在 6 个月的学徒期内从机器学习初学者成长为 OpenAI 核心贡献者，并展示了各自的最终项目成果。
OpenAI NewsAI 评分5656 OpenAI 提出梯度噪声规模指标以预测神经网络训练的可并行性
OpenAI 发现梯度噪声规模（gradient noise scale）这一统计指标可预测神经网络训练在多种任务上的可并行性。复杂任务梯度更嘈杂，未来更大的 batch size 可能变得有用，从而移除 AI 系统继续扩大的一个潜在限制；研究还表明神经网络训练可以被严格化和系统化。
OpenAI NewsAI 评分3737 OpenAI 发布 CoinRun：量化强化学习中的泛化能力
OpenAI 发布 CoinRun 训练环境，为智能体将经验迁移到新情境的能力提供量化指标，并已帮助厘清强化学习中一个长期存在的难题。CoinRun 的复杂度介于传统平台游戏（如 Sonic the Hedgehog）与更低难度环境之间，同时对最先进算法仍构成有价值的泛化挑战。
OpenAI NewsAI 评分4747 OpenAI 发布 Spinning Up in Deep RL 深度强化学习教育资源
OpenAI 发布 Spinning Up in Deep RL，一套面向所有人的深度强化学习教育资源，目标是帮助学习者成为熟练的深度强化学习从业者。该资源包含清晰的 RL 代码示例、教育练习、文档和教程。
OpenAI NewsAI 评分3939 OpenAI 提出基于能量函数学习概念的能量模型
OpenAI 开发出一种能量模型，只需五个演示即可快速学会识别和生成 near、above、between、closest、furthest 等以二维点集表达的概念。该模型还展现出跨域迁移能力：在二维粒子环境中学到的概念可被用于求解三维物理仿真机器人上的任务。
OpenAI NewsAI 评分5757 OpenAI 提出 RND：基于预测奖励的强化学习探索方法
OpenAI 提出 Random Network Distillation（RND），一种通过好奇心鼓励强化学习智能体探索环境的基于预测的奖励方法。该方法在 Montezuma's Revenge 上首次超过人类平均水平。
OpenAI NewsAI 评分3636 OpenAI 提出 AI 安全新技术 iterated amplification
OpenAI 提出一项名为 iterated amplification 的 AI 安全技术，通过演示如何把任务分解为更简单的子任务，来指定超越人类规模的复杂行为和目标，而无需提供标注数据或奖励函数。目前该想法仍处早期阶段，实验仅在简单的玩具算法领域完成，但 OpenAI 认为其可能成为可扩展的 AI 安全方法。
OpenAI NewsAI 评分1818 OpenAI Scholars 2019 开放申请
OpenAI 开放第二期 OpenAI Scholars 项目申请，面向弱势群体提供 6–10 个奖学金名额及导师指导，入选者将全职学习深度学习 3 个月并开源一个项目。