Sentence Transformers v2 集成 Hugging Face Hub
Hugging Face 宣布 Sentence Transformers v2 集成到 Hub，提供超过 90 个预训练模型、覆盖 100 多种语言，几行代码即可加载使用。
推荐理由：官方介绍 Sentence Transformers v2 与 Hub 的集成方式，读者可了解加载、分享和调用嵌入模型的直接入口。
#Hugging Face
#Hugging Face
今日 0 条Hugging Face Blog精选AI 评分6666
Hugging Face BlogAI 评分4040 Few-shot learning 实战：GPT-Neo 与 🤗 Accelerated Inference API
Hugging Face 讲解如何用 EleutherAI 的 GPT-Neo 和 🤗 Accelerated Inference API 实现 Few-Shot Learning 预测。
Hugging Face BlogAI 评分5656 Gradio 2.0 支持 1 行代码加载 Hugging Face 模型并可组合混用
Gradio 2.0 发布，仅需 1 行代码即可为 Hugging Face Model Hub 上超过 10000 个模型创建 GUI 演示，默认使用 Hugging Face 托管 Inference API，也可通过 pip install transformers 在本地运行模型。
Hugging Face BlogAI 评分4848 Hugging Face 如何在 CPU 上扩展 BERT 推理（第一部分）
Hugging Face 发布 CPU 上 BERT 推理优化系列的第一篇，聚焦硬件层面：搭建基线、核心数扩展与 batch size 扩展。
Hugging Face Blog精选AI 评分6161 Hugging Face 发布 Accelerate 库，五行代码让 PyTorch 训练脚本适配任意分布式设备
Hugging Face 发布开源库 Accelerate，用户只需在标准 PyTorch 训练脚本中添加约五行代码，即可在多 GPU、TPU、混合精度等任意分布式环境下运行，且保留对训练循环的完全控制。
推荐理由：原文给出在标准 PyTorch 脚本上加约五行代码即可迁移多 GPU、TPU 和混合精度的具体做法，可与手写 DistributedDataParallel 对比参考。
Hugging Face BlogAI 评分4747 使用 🤗 Transformers 和 Amazon SageMaker 分布式训练 BART/T5 完成摘要任务
Hugging Face 与 Amazon SageMaker 合作推出优化的 Deep Learning Containers，通过 SageMaker Python SDK 中的 HuggingFace estimator 可一行代码启动训练。
Hugging Face BlogAI 评分4545 理解 BigBird 的块稀疏注意力
BigBird 用块稀疏注意力替代 BERT 的全注意力，可处理最长 4096 的序列，计算成本远低于 BERT，其 RoBERTa 类模型已在 🤗Transformers 中可用。其注意力由三部分近似：捕获邻近依赖的滑动注意力、被所有 token 关注的全局 token，以及随机选择的随机 token，以此在长序列上高效逼近全注意力。该模型在长文档摘要、长上下文问答等任务上取得 SOTA。
Hugging Face BlogAI 评分4444 Hugging Face 与 Amazon SageMaker 达成战略合作，推出专用深度学习容器
Hugging Face 宣布与 Amazon 达成战略合作，AWS 成为 Hugging Face 的首选云服务商，双方为 Amazon SageMaker 推出新的 Hugging Face Deep Learning Containers（DLCs），简化 Transformer 模型训练。
Hugging Face BlogAI 评分2626 社区成员分享在 Google Cloud 上部署 serverless transformers 情感分析 pipeline 的实践之路
社区成员 Maxence Dominici 撰文记录如何将 transformers 情感分析 pipeline 部署到 Google Cloud，用于自动判别 Discord 客户评论的正负面。
Hugging Face BlogAI 评分4141 如何用 🤗 Transformers 微调 Wav2Vec2 做英语语音识别
这篇 Hugging Face 教程讲解如何在任何英语 ASR 数据集上微调 Wav2Vec2 预训练模型。Wav2Vec2 仅用 10 分钟标注数据即可在 LibriSpeech 干净测试集上取得低于 5% 的 WER；教程在仅 5h 训练数据的 Timit 数据集上微调 base 版 checkpoint，采用 CTC 算法、不依赖语言模型，并用 WER 指标评估。
Hugging Face BlogAI 评分3737 Hugging Face Reads 2021年2月：长序列 Transformer 论文导读
Hugging Face 2021年2月阅读小组聚焦长序列 Transformer 的注意力效率问题，重点解读四篇论文：Longformer（定制注意力模式）、Compressive Transformer（循环机制）、Linformer（低秩近似）和 Performer（核近似）。
Hugging Face BlogAI 评分5555 Hugging Face 工程师分享构建和调试神经网络的心法与检查清单
Hugging Face 员工撰文分享构建和调试神经网络的心智流程，核心是先放下机器学习、深入了解数据，再从简单基线（如基于 word2vec 或 fastText 的逻辑回归）逐步过渡到复杂模型。
Hugging Face BlogAI 评分4242 Hugging Face Transformers 的 RAG 模型如何用 Ray 加速分布式文档检索
Anyscale 团队将 Ray 集成到 Hugging Face Transformers 的 RAG（Retrieval Augmented Generation）模型的文档检索机制中，相比原 torch.distributed 实现将每次检索调用提速 2x，并提升分布式微调的可扩展性。
Hugging Face BlogAI 评分5353 Hugging Face Transformers 如何用 PyTorch / XLA 在 Cloud TPU 上训练
Hugging Face 与 Facebook PyTorch、Google TPU 团队合作，为 PyTorch / XLA 在 Cloud TPU 上的训练提供一等支持，Trainer 接口保持不变。
Hugging Face BlogAI 评分5555 Hugging Face Transformers 中 TensorFlow 模型提速并用 TensorFlow Serving 部署教程
Hugging Face 团队改进 Transformers v4.2.0 的 TensorFlow 模型，BERT 在 V100、序列长度 128 的基准中比 Google 官方实现最快快约 10%。
Hugging Face Blog精选AI 评分6666 Hugging Face 详解用 DeepSpeed 与 FairScale 的 ZeRO 训练更大模型并提速
transformers v4.2.0 起在 Trainer 中实验性支持 DeepSpeed 和 FairScale 的 ZeRO 特性，分别通过 --deepspeed 和 --sharded_ddp 参数启用。
推荐理由：作者用 t5-large 和 t5-3b 的实测对比表展示 ZeRO 如何提升显存效率与训练速度，方法可直接在 transformers Trainer 中复用。
Hugging Face BlogAI 评分4444 Hugging Face 如何将 Transformer 推理速度提升 100 倍以服务 API 客户
Hugging Face 团队通过两层优化，为其 Accelerated Inference API 用户将 Transformer 推理速度提升共 100 倍。
Hugging Face BlogAI 评分3636 如何利用预训练语言模型检查点构建 encoder-decoder 模型
这篇 Hugging Face 教程讲解如何用 BERT、GPT2 等预训练检查点热启动（warm-start）encoder-decoder 模型，从而跳过高昂的预训练成本。
Hugging Face BlogAI 评分3838 如何将 fairseq WMT19 翻译系统移植到 transformers
Stas Bekman 在 Hugging Face 撰文记录了将 Facebook FAIR 的 WMT19 翻译系统移植到 transformers 的完整过程。
Hugging Face BlogAI 评分5858 Transformers 与 Ray Tune 集成实现超参数搜索教程
Anyscale 团队的 Richard Liaw 撰文介绍 Hugging Face Transformers 3.1 与 Ray Tune 的超参数搜索集成。
Hugging Face BlogAI 评分5151 Hugging Face 详解基于 Transformer 的编码器-解码器模型
Hugging Face 发布长文教程，详解基于 Transformer 的编码器-解码器架构如何建模序列到序列任务。文章从 RNN 编码器-解码器模型的历史讲起，分解编码器的双向自注意力与解码器的单向自注意力和交叉注意力机制，并以 MarianMT 模型代码演示 .generate() 自回归推理，涵盖 T5、Bart、Pegasus 等模型背景，但不涉及训练方法。
Hugging Face BlogAI 评分4646 Hugging Face 发布 pytorch_block_sparse：用块稀疏矩阵让语言模型更小更快
Hugging Face 发布 PyTorch 扩展 pytorch_block_sparse，提供 BlockSparseLinear 作为 torch.nn.Linear 的即插即用替代，实现块稀疏线性层的高效训练。
Hugging Face BlogAI 评分4848 Reformer 如何突破语言建模的极限
Hugging Face 深入解析 Kitaev、Kaiser 等人在 2020 年提出的 Reformer 模型：通过 Reformer Self-Attention。
Hugging Face BlogAI 评分5454 如何用 Transformers 的不同解码方法生成文本
Hugging Face 博客讲解自回归语言生成的主要解码策略，包括 Greedy search、Beam search、Sampling、Top-K 和 Top-p（nucleus）sampling，并用 GPT2 给出 transformers 库中可直接运行的代码示例。
Hugging Face BlogAI 评分4949 如何用 Transformers 和 Tokenizers 从零训练一个新语言模型
Hugging Face 演示如何用 transformers 和 tokenizers 库从零训练一个 84M 参数（6 层、768 hidden size、12 attention heads）的 RoBERTa 类模型 EsperBERTo，语料为 3GB 的世界语 OSCAR 与 Leipzig 语料。