训练大型神经网络的技巧
OpenAI 介绍训练大型神经网络所需的并行技术与工程实践。大型神经网络是近期许多 AI 进展的核心，但训练它们需要编排 GPU 集群来完成单一同步计算，是难度很高的工程与研究挑战。
#OpenAI
#OpenAI
今日 10 条OpenAI NewsAI 评分3131
OpenAI NewsAI 评分4949 OpenAI 发布语言模型部署最佳实践
Cohere、OpenAI 和 AI21 Labs 共同制定了一套初步的大语言模型部署最佳实践，适用于任何开发或部署 LLM 的组织。
OpenAI NewsAI 评分1717 OpenAI Codex 为新一代应用提供支持
OpenAI Codex 现已通过 OpenAI API 为 70 个不同应用提供支持，覆盖多种使用场景。
OpenAI NewsAI 评分4040 DALL·E 2 研究预览更新：每周新增最多 1,000 名用户
OpenAI 更新 DALL·E 2 研究预览：早期用户已生成超过 300 万张图片，并帮助改进了安全流程。OpenAI 将开始从等待名单中每周新增最多 1,000 名用户。
OpenAI NewsAI 评分1919 OpenAI 宣布领导团队高管职务调整
OpenAI 宣布多项高管职务变更，称此次调整反映了公司近期进展，将助力团队保持势头、迈向下一批重大里程碑。
OpenAI NewsAI 评分2828 OpenAI 度量 Goodhart 定律的挑战
当一个度量指标成为优化目标时，它就不再是好的度量——这正是 OpenAI 在优化那些难以或高成本测量的目标时必须面对的 Goodhart 定律难题。
OpenAI News精选AI 评分7575 OpenAI 发布基于 CLIP latents 的分层文生图研究论文
OpenAI 发布论文 Hierarchical text-conditional image generation with CLIP latents，介绍使用 CLIP latents 进行分层文本条件图像生成的方法。材料仅标题可用，正文未抓取到。
OpenAI News精选AI 评分6363 OpenAI 发布可编辑与插入文本的新版 GPT-3 和 Codex
OpenAI 发布新版 GPT-3 和 Codex，新增编辑和插入能力，不再只支持对现有文本做补全。
推荐理由：OpenAI 官方宣布 GPT-3 和 Codex 不再只能补全文本，新增编辑与插入能力，读者可据此了解 API 能力边界的变化。
OpenAI NewsAI 评分3737 OpenAI 分享语言模型安全与滥用防范的经验教训
OpenAI 发布语言模型安全与滥用防范方面的最新思考，旨在帮助其他 AI 开发者应对已部署模型的安全与滥用问题。文章分享了相关经验教训与应对思路。
OpenAI NewsAI 评分1313 OpenAI 征集关于大语言模型经济影响研究的意向
OpenAI 发布意向征集，邀请各方研究大语言模型的经济影响。该项目目前处于征集意向表达阶段，具体细节尚未公布。
OpenAI NewsAI 评分5959 OpenAI 构建神经定理证明器，可解部分形式化数学奥赛题
OpenAI 构建了一个面向 Lean 的神经定理证明器，能解多种有挑战性的高中奥赛题，包括 AMC12 和 AIME 竞赛题，以及两道由 IMO 改编的题目。
OpenAI News精选AI 评分7777 OpenAI 发布 InstructGPT 并设为 API 默认语言模型
OpenAI 训练出比 GPT-3 更能遵循用户意图、同时更真实且毒性更低的 InstructGPT 模型，采用其对齐研究开发、有人类参与闭环的训练技术。这些模型现已部署为 OpenAI API 的默认语言模型。
推荐理由：OpenAI 官方说明 InstructGPT 的对齐训练思路及其成为 API 默认模型的变化，可帮读者理解当时模型行为取向的调整。
OpenAI NewsAI 评分5858 OpenAI API 推出文本与代码 embeddings 端点
OpenAI 宣布在 OpenAI API 中推出新的 embeddings 端点，用于自然语言和代码任务。该端点可支持语义搜索、聚类、主题建模和分类等应用场景。
OpenAI NewsAI 评分5151 OpenAI 发布基于对比预训练的文本与代码嵌入研究
OpenAI 发布题为 Text and code embeddings by contrastive pre-training 的文章，介绍通过对比预训练得到的文本与代码嵌入。原文抓取失败，仅标题可用，详情需查看 https://openai.com/index/text-and-code-embeddings-by-contrastive-pre-training。
OpenAI News精选AI 评分6464 OpenAI 发布 WebGPT，通过网页浏览提升语言模型事实准确性
OpenAI 微调 GPT-3 得到 WebGPT，借助文本式网页浏览器更准确地回答开放式问题。该方法旨在提升语言模型回答的事实准确性。
推荐理由：官方说明用文本浏览器微调 GPT-3 回答开放性问题的思路，读者可借此了解检索增强回答的早期做法。
OpenAI NewsAI 评分5454 OpenAI 开放 GPT-3 应用定制微调
OpenAI 宣布可为应用定制 GPT-3，通过一条命令即可完成微调。
OpenAI NewsAI 评分1515 OpenAI 推出 Residency 项目培养 AI 人才
OpenAI 宣布推出 OpenAI Residency 驻留项目，作为其支持和培养 AI 人才的一部分。
OpenAI NewsAI 评分5353 OpenAI API 取消候补名单，全面开放使用
OpenAI 宣布其 API 取消候补名单，向更广泛的用户开放。OpenAI 表示这一更广泛的可获得性得益于安全方面的进展。
OpenAI NewsAI 评分5757 OpenAI 训练的系统求解小学数学题准确率接近微调 GPT-3 的两倍
OpenAI 训练了一个求解小学数学应用题的系统，准确率接近微调 GPT-3 模型的两倍。在同一批测试题上，9-12 岁儿童小样本得分为 60%，该系统得分为 55%，约达到真实儿童解题量的 90%。
OpenAI NewsAI 评分5454 OpenAI 发布基于人类反馈的书籍摘要研究
OpenAI 发布通过人类反馈扩展 AI 系统人类监督的研究，针对难以评估的任务训练书籍摘要模型。原文仅提供一句话摘要，未给出更多实验细节。
OpenAI NewsAI 评分2929 Helen Toner 加入 OpenAI 董事会
OpenAI 宣布任命 Helen Toner 进入其董事会。
OpenAI News精选AI 评分7474 OpenAI 发布改进版 Codex 并通过 API 开启私测
OpenAI 宣布其自然语言转代码系统 Codex 的改进版本，即日起通过 API 以 private beta 形式发布。
推荐理由：原文给出 Codex 新版本的自然语言转代码能力及 API 私测入口，读者可据此判断早期接入方式。
OpenAI News精选AI 评分6262 OpenAI 开源 Triton 1.0：让研究者无需 CUDA 经验即可编写高效 GPU 代码
OpenAI 发布开源的类 Python 编程语言 Triton 1.0，供编写神经网络 GPU 代码。没有 CUDA 经验的研究者也能写出高效 GPU 代码，多数情况下效率与专家产出相当。
推荐理由：原文说明无 CUDA 经验的研究者也能用它写出接近专家水平的 GPU 代码，可据此评估对研究工作流的影响。
OpenAI NewsAI 评分5353 OpenAI 发表评估基于代码训练的大语言模型的论文
OpenAI 发表论文《Evaluating large language models trained on code》，主题为评估基于代码训练的大语言模型。抓取仅获取到标题，正文内容不可用。
OpenAI NewsAI 评分4747 OpenAI 研究：在精选小数据集上微调可改善语言模型行为
OpenAI 最新研究发现，通过在一个小规模精选数据集上进行微调，可以改善语言模型在特定行为价值观方面的表现。
OpenAI NewsAI 评分2828 Will Hurd 加入 OpenAI 董事会
前国会议员 Will Hurd 加入 OpenAI 董事会。OpenAI 表示，其开发造福全人类的通用人工智能的目标，需要在公共政策和技术两方面都具备专业能力，Hurd 的加入正是基于这一考量。
OpenAI NewsAI 评分3737 GPT-3 驱动下一代应用：超 300 款应用接入 OpenAI API
超过 300 款应用正通过 OpenAI 的 API 使用 GPT-3，为用户提供搜索、对话、文本补全等高级 AI 功能。
OpenAI News精选AI 评分6565 OpenAI 发现 CLIP 中的多模态神经元
OpenAI 发现在 CLIP 中存在对同一概念产生响应的神经元，无论该概念以字面、符号或概念形式呈现。这一现象可能解释了 CLIP 在对概念的出人意料的视觉表现形式进行分类时的准确性，也是理解 CLIP 及类似模型所学习的关联与偏差的重要一步。
推荐理由：原文指出了 CLIP 中多模态神经元的存在及其对理解模型学习关联与偏差的意义。
OpenAI NewsAI 评分4747 OpenAI 将 Kubernetes 集群扩展至 7,500 节点
OpenAI 将 Kubernetes 集群扩展到 7,500 个节点，构建了可扩展的基础设施。该基础设施支持 GPT-3、CLIP、DALL·E 等大模型的训练，也服务于神经语言模型 Scaling Laws 等小规模快速迭代研究。
OpenAI News精选AI 评分7777 OpenAI 发布 CLIP：连接文本与图像的神经网络
OpenAI 发布神经网络 CLIP，可从自然语言监督中高效学习视觉概念。只需提供待识别视觉类别名称，即可应用于任何视觉分类基准，类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由：OpenAI 官方介绍 CLIP 如何用自然语言监督学习视觉概念，零样本思路可与 GPT 系列对照理解。
OpenAI News精选AI 评分7777 OpenAI 发布 DALL·E：从文本描述生成图像
OpenAI 训练了名为 DALL·E 的神经网络，可从文本描述生成图像，覆盖自然语言可表达的广泛概念。
推荐理由：原文说明 DALL·E 能根据自然语言文本描述生成图像，是文本生成图像方向的早期代表工作。
OpenAI NewsAI 评分1212 OpenAI 发布组织架构更新
OpenAI 发布组织架构更新。原文称这一年公司在剧烈变化中实现了显著增长。
OpenAI News精选AI 评分6161 OpenAI 将 GPT-3 技术授权给 Microsoft
OpenAI 宣布将 GPT-3 授权给 Microsoft，供其用于自己的产品和服务。
推荐理由：官方一手宣布 GPT-3 授权给 Microsoft，读者可以据此了解当时大模型商业化的重要合作模式。
OpenAI NewsAI 评分4343 OpenAI 用人类反馈的强化学习训练更擅长摘要的语言模型
OpenAI 应用人类反馈的强化学习（RLHF）训练出在摘要任务上表现更好的语言模型。
OpenAI NewsAI 评分2020 OpenAI Scholars 2020 结业项目亮相线上 Demo Day
第三届 OpenAI Scholars 学员在线上 Demo Day 展示了结业项目，呈现过去五个月的研究成果。
OpenAI NewsAI 评分2626 OpenAI 联合举办 Procgen 与 MineRL 两项 NeurIPS 2020 竞赛
OpenAI 与 AIcrowd、卡内基梅隆大学及 DeepMind 合作，共同组织 NeurIPS 2020 的两项竞赛，分别基于 Procgen Benchmark 和 MineRL。
OpenAI NewsAI 评分5656 OpenAI 发布 Image GPT：用 Transformer 在像素序列上生成图像
OpenAI 发布 Image GPT，将与语言模型相同架构的 Transformer 训练在像素序列上，可生成连贯的图像补全和样本。研究建立了生成样本质量与图像分类精度之间的相关性，其最佳生成模型在无监督设置下提取的特征可与顶级卷积网络竞争。
OpenAI News精选AI 评分7474 OpenAI 发布 API 开放新模型访问
OpenAI 宣布发布一个 API，用于访问其开发的新 AI 模型。
推荐理由：这是 OpenAI 通过 API 开放自家新模型访问的官方发布，读者可以据此了解其模型的可用入口方式。
OpenAI News精选AI 评分8787 OpenAI 论文：Language Models are Few-Shot Learners（语言模型是少样本学习者）
OpenAI 发布题为 Language Models are Few-Shot Learners 的论文，提出语言模型可作为少样本学习者。原文正文抓取失败，仅标题可用，更多细节以原文链接 https://openai.com/index/language-models-are-few-shot-learners 为准。
OpenAI News精选AI 评分6969 OpenAI 分析：ImageNet 分类训练算力需求每 16 个月减半
OpenAI 发布分析指出，自 2012 年以来在 ImageNet 分类上达到相同性能所需的训练算力每 16 个月减少一半。相比 2012 年，如今训练到 AlexNet 水平所需算力减少 44 倍，而 Moore's Law 同期只能带来 11 倍的成本改善。作者据此认为，在高投入的 AI 任务上，算法进步带来的收益已超过传统硬件效率提升。
推荐理由：原文量化了算法进步带来的算力节省速度，可与 Moore's Law 对比，帮助理解硬件与算法效率的真实差距。