Hugging Face 介绍用 Accelerate 结合 PyTorch FSDP 训练大模型
Hugging Face 发文介绍如何在 Accelerate 库中使用 PyTorch FullyShardedDataParallel（FSDP），无需改动代码即可分片训练大模型。
#教程/实践
#教程/实践
今日 4 条Hugging Face BlogAI 评分5050
Hugging Face BlogAI 评分4444 用 Kili 与 HuggingFace AutoTrain 构建评论分类的主动学习流程
这是一篇教程，讲解如何用 HuggingFace AutoTrain 和 Kili 搭建文本分类的主动学习流程。文章以 Google Play Store 上约 40130 条 Medium 应用评论为数据集，定义了订阅、内容、界面、用户体验 4 个分类，并对评论做情感分析。
Hugging Face BlogAI 评分2626 在 Habana Gaudi 上上手 Transformers 实战教程
Hugging Face 实战演示如何在 AWS EC2 DL1 实例（配备 8 个 Habana Gaudi 处理器）上微调 BERT：使用 Habana Deep Learning AMI 和 PyTorch 容器。
Hugging Face BlogAI 评分5959 Hugging Face 官方教程：用机器学习微调 DeBERTa 自动过滤不满意的客户消息
Hugging Face 官方博客以客户服务为场景，演示如何用其生态工具微调 microsoft/deberta-v3-base，将客户消息按 5 类情感分类以自动过滤最不满意的反馈。
Hugging Face BlogAI 评分5454 Hugging Face Hub 上如何追踪与筛选模型的 CO2 排放
Hugging Face 介绍如何在 Hub 上追踪和筛选模型的 CO2 排放。安装 codecarbon 后，transformers 的 Trainer 会自动记录训练碳排放并生成 emissions.csv。
Hugging Face BlogAI 评分5252 Hugging Face 教程：用自定义数据集微调 SegFormer 语义分割模型
Hugging Face 发布教程，演示如何用自建人行道分割数据集 segments/sidewalk-semantic 微调 SegFormer（B0，仅约 14MB），面向披萨配送机器人的场景理解。
Hugging Face BlogAI 评分3939 如何用 Hugging Face Transformers 与 AWS Inferentia 加速 BERT 推理
这是一篇端到端教程，演示如何结合 Hugging Face Transformers、Amazon SageMaker 与 AWS Inferentia 加速 BERT 文本分类推理。
Hugging Face BlogAI 评分5757 如何用 Hugging Face datasets 构建基于 CLIP 的图像搜索应用
教程演示如何用 Hugging Face datasets 结合 sentence_transformers 和 faiss 构建图像搜索应用：用 ImageFolder 加载大英图书馆数字化图书中的装饰图像子集（10000 张）。
Hugging Face BlogAI 评分4343 BERT 入门：详解这一 NLP SOTA 模型
Google AI Language 于 2018 年推出的 BERT（Bidirectional Encoder Representations from Transformers）是一种 NLP 机器学习模型，可解决情感分析、命名实体识别等 11 种以上常见语言任务。
Hugging Face BlogAI 评分4545 用 🤗 Transformers 微调 ViT 进行图像分类
这是一篇 Hugging Face 教程，讲解如何用 🤗 datasets 加载图像分类数据集（示例为包含健康与病态豆叶的 beans 数据集，共 3 个类别），再用 🤗 transformers 微调预训练的 Vision Transformer（ViT）模型。
Hugging Face BlogAI 评分4646 Hugging Face 教程：用 Python 上手情感分析
这是一篇使用 Python 进行情感分析的入门指南，涵盖情感分析概念、如何用 transformers 的 pipeline 类调用 Hugging Face Hub 上超过 215 个预训练情感分析模型（仅需 5 行代码），以及如何用自有数据微调模型和分析推文。Hub 收录超过 27,000 个社区共享模型，覆盖约 28 种语言，均可免费使用并支持浏览器内测试。
Hugging Face Blog精选AI 评分6262 如何用 Wav2Vec2 在 Transformers 中对长音频文件做语音识别
Hugging Face 博客讲解如何利用 Wav2Vec2 的 CTC 架构特性，对任意长的音频文件乃至实时流做高质量语音识别。
推荐理由：原文解释如何利用 CTC 架构加重叠分块让 Wav2Vec2 处理任意长音频和实时推理，方法可直接用 pipeline 复现。
Hugging Face BlogAI 评分5555 Hugging Face 发布 huggingface_hub 搜索 API 使用教程
Hugging Face 官方介绍 huggingface_hub 库新增的搜索功能，用户可通过 ModelSearchArguments 和 ModelFilter 类在 Python 或 Jupyter 中以编程方式筛选 Hub 上的模型和数据集，无需离开 IDE。
Hugging Face BlogAI 评分4848 如何在 🤗 Transformers 中用 n-gram 语言模型增强 Wav2Vec2
🤗 Transformers 新增与 Kensho 的 pyctcdecode 库的集成，可将 n-gram 语言模型与微调后的 Wav2Vec2 语音识别检查点结合解码。
Hugging Face BlogAI 评分4040 使用 Hugging Face Transformers 和 Amazon SageMaker 部署 GPT-J 6B 进行推理
本教程讲解如何用 Hugging Face Transformers 与 Amazon SageMaker 部署 EleutherAI 的开源 60 亿参数模型 GPT-J 6B，在约 $500/月的 NVIDIA T4 GPU 实例上实现实时推理。
Hugging Face BlogAI 评分4141 如何用 AutoNLP 与 Prodigy 构建主动学习流水线
Hugging Face 介绍如何结合其 AutoNLP 框架与 Explosion 的标注工具 Prodigy 搭建主动学习流水线。
Hugging Face Blog精选AI 评分6363 Hugging Face 从零训练 Python 代码生成模型 CodeParrot 的完整教程
Hugging Face 发布教程，展示如何从零训练名为 CodeParrot 的 GPT-2 代码生成模型。
推荐理由：原文从数据清洗到训练和评测完整走一遍预训练流程，方法步骤可迁移到读者自己的代码模型训练。
Hugging Face BlogAI 评分2424 如何使用 Optimum 在 Graphcore IPU 上快速上手 Hugging Face Transformers
Hugging Face 与 Graphcore 合作，通过开源库 Optimum 让 Transformer 模型在 Graphcore IPU 上更易加速推理，并推出首个 IPU 优化模型 BERT。
Hugging Face BlogAI 评分2828 如何用 Intel 技术加速 PyTorch 分布式微调
这篇教程演示如何用 Intel Xeon Scalable（Ice Lake 架构）CPU 集群加速 PyTorch 分布式微调，在 GLUE 基准的 MRPC 数据集（5,800 个句子对）上微调 BERT 文本分类模型。
Hugging Face BlogAI 评分3434 用 🤗 Transformers 微调 XLS-R（Wav2Vec2）实现低资源语音识别
这篇 Hugging Face 教程讲解如何用 CTC 微调 Wav2Vec2-XLS-R-300M 做低资源 ASR。XLS-R 于 2021 年 11 月发布，用约 50 万小时、128 种语言的音频做自监督预训练，提供 300M 至 2B 参数的 checkpoint。教程以仅约 4 小时验证数据的 Common Voice 土耳其语数据集为示例，并用词错误率（WER）评估微调后的模型。
Hugging Face BlogAI 评分4747 Hugging Face 解析如何在现代 CPU 上加速 BERT 类模型推理（二）
Hugging Face 与 Intel 合作的第二篇博客聚焦软件层面的优化，展示 Intel 新一代 Ice Lake Xeon CPU 在多种 NLP 任务上比上一代 Cascade Lake 推理最高快 75%。
Hugging Face BlogAI 评分3131 大语言模型：新的摩尔定律？
Microsoft 与 NVIDIA 发布了基于 Transformer 的 Megatron-Turing NLG 530B，被称为“全球最大最强生成式语言模型”。
Hugging Face BlogAI 评分3636 Hugging Face Course 第二部分 11 月 15 日发布，同步举办社区活动
Hugging Face 宣布 Hugging Face Course 第二部分将于 11 月 15 日发布，涵盖 token 分类、因果与掩码语言建模、翻译、摘要和问答等 NLP 任务，并深入介绍 🤗 Datasets 和 🤗 Tokenizers。活动包括两天演讲和微调模型的团队项目，完成后可获结业证书，AWS 通过 Amazon SageMaker 提供免费算力。
Hugging Face BlogAI 评分5555 Hugging Face 用 10 亿句对训练句子嵌入模型的完整复盘
Hugging Face 社区周项目用 7 个 TPU v3-8、基于 JAX/Flax，以最多 10 亿句对训练出 20 个 Sentence Transformers 模型（含 Mini-LM、RoBERTa、DistilBERT、MPNet），在多个通用句子相似度评测上达到 SOTA，并发布 8 个专用数据集。
Hugging Face BlogAI 评分3535 用遥感（卫星）图像和描述微调 CLIP
Hugging Face Flax/JAX Community Week 期间，一个团队用 RSICD 数据集（约 10,000 张卫星图像）及 UCM、Sydney 数据集微调了 OpenAI 的 CLIP 模型，因为卫星图像与日常图像差异较大。
Hugging Face Blog精选AI 评分6262 Hugging Face 教你用 Gradio 在 Spaces 上展示模型演示
Hugging Face 发布教程，讲解如何用 Gradio 集成和 Spaces 托管 Hub 模型的演示应用。定义 Interface 并调用 .launch() 即可运行演示，底层通过 Inference API 支持 Transformers、spaCy、SpeechBrain 等框架以及 image-to-text、speech-to-text 等模型类型。
推荐理由：官方教程给出几行代码即可在 Spaces 托管 Hub 模型演示的方法，含自定义模型部署和串联多模型的示例。
Hugging Face BlogAI 评分5454 如何在 Hugging Face Spaces 上用 Streamlit 托管模型与数据集
Hugging Face 官方博客介绍如何在 Spaces 上用 Streamlit 托管模型与数据集，示范复刻 Write with Transformer 应用，用 text_area、sidebar、slider 等组件接收 GPT-2 等模型推理的超参数，并用 st.write 输出结果。
Hugging Face BlogAI 评分4040 Few-shot learning 实战：GPT-Neo 与 🤗 Accelerated Inference API
Hugging Face 讲解如何用 EleutherAI 的 GPT-Neo 和 🤗 Accelerated Inference API 实现 Few-Shot Learning 预测。
Hugging Face BlogAI 评分4848 Hugging Face 如何在 CPU 上扩展 BERT 推理（第一部分）
Hugging Face 发布 CPU 上 BERT 推理优化系列的第一篇，聚焦硬件层面：搭建基线、核心数扩展与 batch size 扩展。
Hugging Face BlogAI 评分4747 使用 🤗 Transformers 和 Amazon SageMaker 分布式训练 BART/T5 完成摘要任务
Hugging Face 与 Amazon SageMaker 合作推出优化的 Deep Learning Containers，通过 SageMaker Python SDK 中的 HuggingFace estimator 可一行代码启动训练。
Hugging Face BlogAI 评分4545 理解 BigBird 的块稀疏注意力
BigBird 用块稀疏注意力替代 BERT 的全注意力，可处理最长 4096 的序列，计算成本远低于 BERT，其 RoBERTa 类模型已在 🤗Transformers 中可用。其注意力由三部分近似：捕获邻近依赖的滑动注意力、被所有 token 关注的全局 token，以及随机选择的随机 token，以此在长序列上高效逼近全注意力。该模型在长文档摘要、长上下文问答等任务上取得 SOTA。
Hugging Face BlogAI 评分2626 社区成员分享在 Google Cloud 上部署 serverless transformers 情感分析 pipeline 的实践之路
社区成员 Maxence Dominici 撰文记录如何将 transformers 情感分析 pipeline 部署到 Google Cloud，用于自动判别 Discord 客户评论的正负面。
Hugging Face BlogAI 评分4141 如何用 🤗 Transformers 微调 Wav2Vec2 做英语语音识别
这篇 Hugging Face 教程讲解如何在任何英语 ASR 数据集上微调 Wav2Vec2 预训练模型。Wav2Vec2 仅用 10 分钟标注数据即可在 LibriSpeech 干净测试集上取得低于 5% 的 WER；教程在仅 5h 训练数据的 Timit 数据集上微调 base 版 checkpoint，采用 CTC 算法、不依赖语言模型，并用 WER 指标评估。
Hugging Face BlogAI 评分5555 Hugging Face 工程师分享构建和调试神经网络的心法与检查清单
Hugging Face 员工撰文分享构建和调试神经网络的心智流程，核心是先放下机器学习、深入了解数据，再从简单基线（如基于 word2vec 或 fastText 的逻辑回归）逐步过渡到复杂模型。
Hugging Face BlogAI 评分4242 Hugging Face Transformers 的 RAG 模型如何用 Ray 加速分布式文档检索
Anyscale 团队将 Ray 集成到 Hugging Face Transformers 的 RAG（Retrieval Augmented Generation）模型的文档检索机制中，相比原 torch.distributed 实现将每次检索调用提速 2x，并提升分布式微调的可扩展性。
Hugging Face BlogAI 评分5353 Hugging Face Transformers 如何用 PyTorch / XLA 在 Cloud TPU 上训练
Hugging Face 与 Facebook PyTorch、Google TPU 团队合作，为 PyTorch / XLA 在 Cloud TPU 上的训练提供一等支持，Trainer 接口保持不变。
Hugging Face BlogAI 评分5555 Hugging Face Transformers 中 TensorFlow 模型提速并用 TensorFlow Serving 部署教程
Hugging Face 团队改进 Transformers v4.2.0 的 TensorFlow 模型，BERT 在 V100、序列长度 128 的基准中比 Google 官方实现最快快约 10%。
OpenAI NewsAI 评分4747 OpenAI 将 Kubernetes 集群扩展至 7,500 节点
OpenAI 将 Kubernetes 集群扩展到 7,500 个节点，构建了可扩展的基础设施。该基础设施支持 GPT-3、CLIP、DALL·E 等大模型的训练，也服务于神经语言模型 Scaling Laws 等小规模快速迭代研究。
Hugging Face Blog精选AI 评分6666 Hugging Face 详解用 DeepSpeed 与 FairScale 的 ZeRO 训练更大模型并提速
transformers v4.2.0 起在 Trainer 中实验性支持 DeepSpeed 和 FairScale 的 ZeRO 特性，分别通过 --deepspeed 和 --sharded_ddp 参数启用。
推荐理由：作者用 t5-large 和 t5-3b 的实测对比表展示 ZeRO 如何提升显存效率与训练速度，方法可直接在 transformers Trainer 中复用。
Hugging Face BlogAI 评分4444 Hugging Face 如何将 Transformer 推理速度提升 100 倍以服务 API 客户
Hugging Face 团队通过两层优化，为其 Accelerated Inference API 用户将 Transformer 推理速度提升共 100 倍。