transformers v4.2.0 起在 Trainer 中实验性支持 DeepSpeed 和 FairScale 的 ZeRO 特性，分别通过 --deepspeed 和 --sharded_ddp 参数启用。
推荐理由：作者用 t5-large 和 t5-3b 的实测对比表展示 ZeRO 如何提升显存效率与训练速度，方法可直接在 transformers Trainer 中复用。
Hugging Face 团队通过两层优化，为其 Accelerated Inference API 用户将 Transformer 推理速度提升共 100 倍。
这篇 Hugging Face 教程讲解如何用 BERT、GPT2 等预训练检查点热启动（warm-start）encoder-decoder 模型，从而跳过高昂的预训练成本。
Stas Bekman 在 Hugging Face 撰文记录了将 Facebook FAIR 的 WMT19 翻译系统移植到 transformers 的完整过程。
Anyscale 团队的 Richard Liaw 撰文介绍 Hugging Face Transformers 3.1 与 Ray Tune 的超参数搜索集成。
Hugging Face 发布长文教程，详解基于 Transformer 的编码器-解码器架构如何建模序列到序列任务。文章从 RNN 编码器-解码器模型的历史讲起，分解编码器的双向自注意力与解码器的单向自注意力和交叉注意力机制，并以 MarianMT 模型代码演示 .generate() 自回归推理，涵盖 T5、Bart、Pegasus 等模型背景，但不涉及训练方法。
Hugging Face 深入解析 Kitaev、Kaiser 等人在 2020 年提出的 Reformer 模型：通过 Reformer Self-Attention。
Hugging Face 博客讲解自回归语言生成的主要解码策略，包括 Greedy search、Beam search、Sampling、Top-K 和 Top-p（nucleus）sampling，并用 GPT2 给出 transformers 库中可直接运行的代码示例。
Hugging Face 演示如何用 transformers 和 tokenizers 库从零训练一个 84M 参数（6 层、768 hidden size、12 attention heads）的 RoBERTa 类模型 EsperBERTo，语料为 3GB 的世界语 OSCAR 与 Leipzig 语料。
2 月 2 日，OpenAI 举办了首期 Spinning Up Workshop，这是其新教育计划的一部分。
首期 OpenAI Fellows 项目结业，每位学员在 6 个月的学徒期内从机器学习初学者成长为 OpenAI 核心贡献者，并展示了各自的最终项目成果。
OpenAI 发布 Spinning Up in Deep RL，一套面向所有人的深度强化学习教育资源，目标是帮助学习者成为熟练的深度强化学习从业者。该资源包含清晰的 RL 代码示例、教育练习、文档和教程。
OpenAI 探讨强化学习算法中的一种失效模式：奖励函数设定错误（reward misspecification）会让算法以出人意料、违反直觉的方式出错。文章指出，这类问题源于奖励函数与设计者真实意图的偏差，是强化学习在真实场景中部署时需要面对的挑战。
OpenAI 发文指出，深度学习是一门经验科学，团队基础设施的质量会对研究进展起到乘数效应。文章同时提到，如今的开源生态让任何人都有可能搭建优秀的深度学习基础设施。