Hugging Face 联合 Yandex Research 等机构提出 DeDLOC 分布式协作训练方法，可自适应参与者的网络与硬件条件。该方法由 40 名志愿者协同预训练了孟加拉语模型 sahajBERT（约 18M 参数，基于 ALBERT），在 NER 上 F1 达 95.45、NCC 准确率 91.97，结果与数百块 V100 训练的 XLM-R-large 相当。
推荐理由：原文给出 DeDLOC 协作训练方法细节和 40 名志愿者预训练 sahajBERT 的实测结果，含下游任务对比数据，方法可复用。
spaCy 现已集成到 Hugging Face Hub，一条命令即可上传 pipeline，自动生成模型卡和元数据。Hub 的 spaCy org 提供 60 多个来自 3.1 版本的官方模型，推理 API 开箱即支持 NER，社区模型已超 60 个之外还可通过 pip install 直接安装。
Hugging Face 推出用于 Amazon SageMaker 的 Inference DLCs 和 Inference Toolkit，部署已训练模型只需一行代码，也可直接部署 Model Hub 上 10,000+ 公开模型。
Hugging Face 宣布 Sentence Transformers v2 集成到 Hub，提供超过 90 个预训练模型、覆盖 100 多种语言，几行代码即可加载使用。
推荐理由：官方介绍 Sentence Transformers v2 与 Hub 的集成方式，读者可了解加载、分享和调用嵌入模型的直接入口。
Hugging Face 讲解如何用 EleutherAI 的 GPT-Neo 和 🤗 Accelerated Inference API 实现 Few-Shot Learning 预测。
Gradio 2.0 发布，仅需 1 行代码即可为 Hugging Face Model Hub 上超过 10000 个模型创建 GUI 演示，默认使用 Hugging Face 托管 Inference API，也可通过 pip install transformers 在本地运行模型。
Hugging Face 发布 CPU 上 BERT 推理优化系列的第一篇，聚焦硬件层面：搭建基线、核心数扩展与 batch size 扩展。
Hugging Face 发布开源库 Accelerate，用户只需在标准 PyTorch 训练脚本中添加约五行代码，即可在多 GPU、TPU、混合精度等任意分布式环境下运行，且保留对训练循环的完全控制。
推荐理由：原文给出在标准 PyTorch 脚本上加约五行代码即可迁移多 GPU、TPU 和混合精度的具体做法，可与手写 DistributedDataParallel 对比参考。
Hugging Face 与 Amazon SageMaker 合作推出优化的 Deep Learning Containers，通过 SageMaker Python SDK 中的 HuggingFace estimator 可一行代码启动训练。
BigBird 用块稀疏注意力替代 BERT 的全注意力，可处理最长 4096 的序列，计算成本远低于 BERT，其 RoBERTa 类模型已在 🤗Transformers 中可用。其注意力由三部分近似：捕获邻近依赖的滑动注意力、被所有 token 关注的全局 token，以及随机选择的随机 token，以此在长序列上高效逼近全注意力。该模型在长文档摘要、长上下文问答等任务上取得 SOTA。
Hugging Face 宣布与 Amazon 达成战略合作，AWS 成为 Hugging Face 的首选云服务商，双方为 Amazon SageMaker 推出新的 Hugging Face Deep Learning Containers（DLCs），简化 Transformer 模型训练。
社区成员 Maxence Dominici 撰文记录如何将 transformers 情感分析 pipeline 部署到 Google Cloud，用于自动判别 Discord 客户评论的正负面。
这篇 Hugging Face 教程讲解如何在任何英语 ASR 数据集上微调 Wav2Vec2 预训练模型。Wav2Vec2 仅用 10 分钟标注数据即可在 LibriSpeech 干净测试集上取得低于 5% 的 WER；教程在仅 5h 训练数据的 Timit 数据集上微调 base 版 checkpoint，采用 CTC 算法、不依赖语言模型，并用 WER 指标评估。
Hugging Face 2021年2月阅读小组聚焦长序列 Transformer 的注意力效率问题，重点解读四篇论文：Longformer（定制注意力模式）、Compressive Transformer（循环机制）、Linformer（低秩近似）和 Performer（核近似）。
Hugging Face 员工撰文分享构建和调试神经网络的心智流程，核心是先放下机器学习、深入了解数据，再从简单基线（如基于 word2vec 或 fastText 的逻辑回归）逐步过渡到复杂模型。
Anyscale 团队将 Ray 集成到 Hugging Face Transformers 的 RAG（Retrieval Augmented Generation）模型的文档检索机制中，相比原 torch.distributed 实现将每次检索调用提速 2x，并提升分布式微调的可扩展性。
Hugging Face 与 Facebook PyTorch、Google TPU 团队合作，为 PyTorch / XLA 在 Cloud TPU 上的训练提供一等支持，Trainer 接口保持不变。
Hugging Face 团队改进 Transformers v4.2.0 的 TensorFlow 模型，BERT 在 V100、序列长度 128 的基准中比 Google 官方实现最快快约 10%。
transformers v4.2.0 起在 Trainer 中实验性支持 DeepSpeed 和 FairScale 的 ZeRO 特性，分别通过 --deepspeed 和 --sharded_ddp 参数启用。
推荐理由：作者用 t5-large 和 t5-3b 的实测对比表展示 ZeRO 如何提升显存效率与训练速度，方法可直接在 transformers Trainer 中复用。
Hugging Face 团队通过两层优化，为其 Accelerated Inference API 用户将 Transformer 推理速度提升共 100 倍。
这篇 Hugging Face 教程讲解如何用 BERT、GPT2 等预训练检查点热启动（warm-start）encoder-decoder 模型，从而跳过高昂的预训练成本。
Stas Bekman 在 Hugging Face 撰文记录了将 Facebook FAIR 的 WMT19 翻译系统移植到 transformers 的完整过程。
Anyscale 团队的 Richard Liaw 撰文介绍 Hugging Face Transformers 3.1 与 Ray Tune 的超参数搜索集成。
Hugging Face 发布长文教程，详解基于 Transformer 的编码器-解码器架构如何建模序列到序列任务。文章从 RNN 编码器-解码器模型的历史讲起，分解编码器的双向自注意力与解码器的单向自注意力和交叉注意力机制，并以 MarianMT 模型代码演示 .generate() 自回归推理，涵盖 T5、Bart、Pegasus 等模型背景，但不涉及训练方法。
Hugging Face 发布 PyTorch 扩展 pytorch_block_sparse，提供 BlockSparseLinear 作为 torch.nn.Linear 的即插即用替代，实现块稀疏线性层的高效训练。
Hugging Face 深入解析 Kitaev、Kaiser 等人在 2020 年提出的 Reformer 模型：通过 Reformer Self-Attention。
Hugging Face 博客讲解自回归语言生成的主要解码策略，包括 Greedy search、Beam search、Sampling、Top-K 和 Top-p（nucleus）sampling，并用 GPT2 给出 transformers 库中可直接运行的代码示例。
Hugging Face 演示如何用 transformers 和 tokenizers 库从零训练一个 84M 参数（6 层、768 hidden size、12 attention heads）的 RoBERTa 类模型 EsperBERTo，语料为 3GB 的世界语 OSCAR 与 Leipzig 语料。