如何利用预训练语言模型检查点构建 encoder-decoder 模型
这篇 Hugging Face 教程讲解如何用 BERT、GPT2 等预训练检查点热启动（warm-start）encoder-decoder 模型，从而跳过高昂的预训练成本。
#教程/实践
#教程/实践
今日 4 条Hugging Face BlogAI 评分3636
Hugging Face BlogAI 评分3838 如何将 fairseq WMT19 翻译系统移植到 transformers
Stas Bekman 在 Hugging Face 撰文记录了将 Facebook FAIR 的 WMT19 翻译系统移植到 transformers 的完整过程。
Hugging Face BlogAI 评分5858 Transformers 与 Ray Tune 集成实现超参数搜索教程
Anyscale 团队的 Richard Liaw 撰文介绍 Hugging Face Transformers 3.1 与 Ray Tune 的超参数搜索集成。
Hugging Face BlogAI 评分5151 Hugging Face 详解基于 Transformer 的编码器-解码器模型
Hugging Face 发布长文教程，详解基于 Transformer 的编码器-解码器架构如何建模序列到序列任务。文章从 RNN 编码器-解码器模型的历史讲起，分解编码器的双向自注意力与解码器的单向自注意力和交叉注意力机制，并以 MarianMT 模型代码演示 .generate() 自回归推理，涵盖 T5、Bart、Pegasus 等模型背景，但不涉及训练方法。
Hugging Face BlogAI 评分4848 Reformer 如何突破语言建模的极限
Hugging Face 深入解析 Kitaev、Kaiser 等人在 2020 年提出的 Reformer 模型：通过 Reformer Self-Attention。
Hugging Face BlogAI 评分5454 如何用 Transformers 的不同解码方法生成文本
Hugging Face 博客讲解自回归语言生成的主要解码策略，包括 Greedy search、Beam search、Sampling、Top-K 和 Top-p（nucleus）sampling，并用 GPT2 给出 transformers 库中可直接运行的代码示例。
Hugging Face BlogAI 评分4949 如何用 Transformers 和 Tokenizers 从零训练一个新语言模型
Hugging Face 演示如何用 transformers 和 tokenizers 库从零训练一个 84M 参数（6 层、768 hidden size、12 attention heads）的 RoBERTa 类模型 EsperBERTo，语料为 3GB 的世界语 OSCAR 与 Leipzig 语料。
OpenAI NewsAI 评分1717 OpenAI Spinning Up in Deep RL：Workshop 回顾
2 月 2 日，OpenAI 举办了首期 Spinning Up Workshop，这是其新教育计划的一部分。
OpenAI NewsAI 评分1616 OpenAI Fellows 2018 夏季班结业：学员项目成果展示
首期 OpenAI Fellows 项目结业，每位学员在 6 个月的学徒期内从机器学习初学者成长为 OpenAI 核心贡献者，并展示了各自的最终项目成果。
OpenAI NewsAI 评分4747 OpenAI 发布 Spinning Up in Deep RL 深度强化学习教育资源
OpenAI 发布 Spinning Up in Deep RL，一套面向所有人的深度强化学习教育资源，目标是帮助学习者成为熟练的深度强化学习从业者。该资源包含清晰的 RL 代码示例、教育练习、文档和教程。
OpenAI NewsAI 评分1919 真实环境中的错误奖励函数：强化学习的一种失效模式
OpenAI 探讨强化学习算法中的一种失效模式：奖励函数设定错误（reward misspecification）会让算法以出人意料、违反直觉的方式出错。文章指出，这类问题源于奖励函数与设计者真实意图的偏差，是强化学习在真实场景中部署时需要面对的挑战。
OpenAI NewsAI 评分1616 OpenAI 谈深度学习基础设施建设
OpenAI 发文指出，深度学习是一门经验科学，团队基础设施的质量会对研究进展起到乘数效应。文章同时提到，如今的开源生态让任何人都有可能搭建优秀的深度学习基础设施。