Hugging Face 携手 Substra 打造隐私保护 AI：联邦学习入门 Space
Hugging Face 与开源联邦学习框架 Substra 合作创建了一个 Space，演示如何在数据不出本地的前提下训练模型。联邦学习只传输模型权重，多来源数据训练的模型在验证数据上几乎总优于单一来源模型。Substra 已在乳腺癌研究等真实场景落地，并曾支撑 MELLODDY 项目中 10 家药企共享全球最大的小分子活性数据集。
#数据/训练
#数据/训练
今日 2 条Hugging Face BlogAI 评分2626
Hugging Face Blog精选AI 评分6565 StackLLaMA：用 RLHF 训练 LLaMA 的实战指南
Hugging Face 发布 StackLLaMA 模型及完整 RLHF 训练教程，演示如何将 LLaMA 7B 微调用于回答 Stack Exchange 问答。
推荐理由：Hugging Face 官方复盘 StackLLaMA 全流程训练细节，包括显存估算、LoRA 配置和 RLHF 训练中的稳定性坑，方法可直接迁移复用。
Hugging Face Blog精选AI 评分7070 Hugging Face 发布 trl 与 peft 集成，在 24GB 消费级 GPU 上用 RLHF 微调 20B 模型
Hugging Face 官方发布 trl 与 peft 的集成，让用户能以更低成本用强化学习微调大语言模型。通过 8-bit 加载（LLM.int8）、低秩适配器以及用 disable_adapters 复用同一模型获取参考与主动 logits，作者在 24GB NVIDIA 4090 上验证了微调 20B gpt-neox 生成正面影评的完整流程，并指出训练速度和多卡扩展是下一步方向。
推荐理由：原文给出 trl 与 peft 集成的完整微调流程和显存拆解，读者可以照此在单张 24GB GPU 上复现大模型 RLHF 训练。
Hugging Face BlogAI 评分5757 机器学习如何助力土耳其地震救援：afetharita 项目复盘
Hugging Face 博客复盘志愿者团队在 2023 年 2 月土耳其地震后开发 afetharita 应用的过程：用 easyocr 加微调 NER 模型从求助推文截图提取姓名、电话和地址，用 bert-base-turkish 系列微调文本分类模型识别庇护、食物、物流等需求，并将地址经地理编码 API 显示在地图上。
Hugging Face BlogAI 评分5252 Hugging Face Optimum 集成 ONNX Runtime 训练，模型训练加速最高达 130%
Hugging Face 与 Microsoft ONNX Runtime 团队合作，通过 Optimum 库的 ORTTrainer API 为 Transformer 模型训练加速，配合 DeepSpeed ZeRO Stage 1 在单台 8 卡 Nvidia A100 节点上测得 39% 到 130% 的加速。
Hugging Face Blog精选AI 评分6262 Hugging Face 解析什么让对话智能体有用：RLHF、IFT、CoT 技术综述
Hugging Face 发布博客，系统梳理让对话智能体有用的关键技术 RLHF、IFT、SFT、CoT 与红队测试，并对比 LaMDA、BlenderBot 3、Sparrow、InstructGPT 与 Anthropic Assistant 的训练数据、模型规模与评估标准。文章指出指令微调所需数据远小于预训练，CoT 微调能提升逐步推理任务表现并减少对敏感话题的回避。
推荐理由：文章系统梳理了 RLHF、IFT、SFT、CoT 等技术如何让对话智能体有用，并对比主流模型差异。
Hugging Face BlogAI 评分4545 聊聊机器学习中的偏见：Hugging Face 伦理与社会通讯 #2
Hugging Face 伦理与社会团队发文探讨机器学习中的偏见问题，指出 ML 模型作为社会技术系统会放大会加剧不公的社会趋势，且随部署环境不断演变，任何单一技术手段都难以解决。文章分享了在任务定义、数据集构建和模型训练各阶段应对偏见的经验，并介绍了团队开发的相关分析工具。
Hugging Face Blog精选AI 评分6464 Hugging Face 图解 RLHF：用人类反馈强化学习微调语言模型的完整流程
Hugging Face 发布长文图解 RLHF，将其拆为预训练语言模型、训练奖励模型、用 PPO 微调三个核心步骤。文中说明人类偏好采用排序而非直接打分以降低噪声，奖励函数含 KL 惩罚以防止策略偏离初始模型，并介绍 TRL、TRLX、RL4LMs 等开源工具及代表性论文，同时指出人类标注成本高、标注者分歧等局限。
推荐理由：这篇官方长文把 RLHF 拆解为预训练、奖励模型和 PPO 微调三步，并梳理开源工具与关键论文，适合建立完整认知。
Hugging Face Blog精选AI 评分6363 Hugging Face Transformers 介绍对比搜索解码方法及其与贪心搜索、nucleus 采样的对比
Hugging Face 宣布对比搜索解码方法进入 transformers 4.24.0，支持 PyTorch 和 TensorFlow，并附 Colab 与在线对比演示。
推荐理由：原文用 GPT-2 和 OPT 的实例对比贪心、nucleus 采样与对比搜索的输出质量，并给出可复用的代码参数。
Hugging Face BlogAI 评分4848 从 PyTorch DDP 到 Accelerate 再到 Trainer：轻松掌握分布式训练
这是一篇 Hugging Face 教程，讲解如何以三种递进的抽象层级在多 GPU 上进行分布式数据并行（DDP）训练：原生 PyTorch 的 pytorch.distributed 模块、🤗 Accelerate 的轻量封装（代码几乎无需改动即可在单 GPU 和 TPU 上运行），以及 🤗 Transformers 的高层 Trainer API。
Hugging Face Blog精选AI 评分6868 Hugging Face 与 Intel Labs、UKP Lab 发布少样本分类框架 SetFit
Hugging Face 联合 Intel Labs 和 UKP Lab 发布 SetFit，一个无需提示词的少样本文本分类框架。每类仅需 8 个标注样本即可在 Customer Reviews 数据集上媲美用全量 3k 样本微调的 RoBERTa Large；在 RAFT 基准上 355M 参数的 SetFit 超过 PET 和 GPT-3。
推荐理由：官方详解 SetFit 的原理、训练成本和 RAFT 实测数据，并附可复现的训练代码，方便直接上手做少样本分类。
Hugging Face BlogAI 评分4848 如何用 Megatron-LM 训练语言模型
NVIDIA 的 Megatron-LM 是专为 GPU 高度优化的预训练框架，相比 🤗 Accelerate 和 Trainer 更快但上手门槛更高。它通过高效的 DataLoader 和融合 CUDA kernel（包括 Apex 的 Fused AdamW）减少内存搬移、加速训练。
Hugging Face BlogAI 评分4747 教程：如何用 Hugging Face Transformers 在 Habana Gaudi 上预训练 BERT
这是一篇教程，讲解如何用 Hugging Face Transformers、Optimum Habana 和 Datasets 库，在 AWS DL1 实例（Habana Gaudi）上以掩码语言建模（MLM）任务从零预训练 BERT-base。
Hugging Face BlogAI 评分4242 Hugging Face 的 TensorFlow 哲学
Hugging Face 阐述其 transformers 库对 TensorFlow 的设计理念：所有 TF 模型都应是 Keras Model 对象，所有层都是 Keras Layer 对象，从而可直接使用 fit()、compile()、predict() 等方法。
Hugging Face BlogAI 评分2525 Nyströmformer：用 Nyström 方法以线性时间和内存近似自注意力
Nyströmformer 借助 Nyström 矩阵近似方法，将标准自注意力的 O(n²) 时间与内存复杂度降至 O(n)。由于无法直接对 softmax 矩阵采样，该方法从 queries 和 keys 中以 segment means 构建地标点来近似 softmax 矩阵，并配合 1D depthwise convolution 的 skip connection。
Hugging Face BlogAI 评分3434 Hugging Face 🤗 Datasets 推出全新音频与视觉文档
Hugging Face 为 🤗 Datasets 库新增音频与图像数据集的文档，包括更新后的 Quickstart 和按模态划分的专属指南。Quickstart 提供 PyTorch 或 TensorFlow 的端到端加载与处理示例，并引入 to_tf_dataset 函数将数据集转换为 tf.data.Dataset。
Hugging Face BlogAI 评分2626 Hugging Face 深度强化学习课程第 7 单元：Advantage Actor Critic (A2C)
Hugging Face 深度强化学习课程第 7 单元讲解 Advantage Actor Critic (A2C)。文章指出 Reinforce 因使用 Monte-Carlo 采样估计回报导致策略梯度方差高、训练慢，而 Actor-Critic 架构结合 Actor（策略）与 Critic（价值函数）可降低方差。
Hugging Face BlogAI 评分3131 如何用对抗性数据动态训练你的模型（以 MNIST 为例）
Hugging Face 博客讲解动态对抗性数据收集（DADC）：让人类构造样本来欺骗 SOTA 模型，再用这些数据多轮迭代训练以提升模型鲁棒性。文章以 MNIST 手写数字识别为例，展示了在 🤗 Spaces 上搭建模型交互 demo、标记（flag）对抗样本并重复训练的完整流程，作者训练的模型 20 epochs 后在测试集达到 89% 准确率。
Hugging Face BlogAI 评分5858 BLOOM 176B 训练背后的技术详解：384 张 A100 与 Megatron-DeepSpeed 的 3.5 个月之旅
Hugging Face 详细复盘 176B 参数模型 BLOOM 的训练技术，项目使用 384 张 80GB A100 GPU、350B token 的 59 语言数据集，耗时约 3.5 个月（约 100 万计算小时）。
Hugging Face BlogAI 评分4646 用 PyTorch 实现 Policy Gradient（Hugging Face 深度强化学习课程 Unit 5）
Hugging Face 深度强化学习课程第 5 单元讲解首个策略梯度方法 Reinforce（Monte Carlo Policy Gradient），并用 PyTorch 从零实现。
OpenAI NewsAI 评分3131 训练大型神经网络的技巧
OpenAI 介绍训练大型神经网络所需的并行技术与工程实践。大型神经网络是近期许多 AI 进展的核心，但训练它们需要编排 GPU 集群来完成单一同步计算，是难度很高的工程与研究挑战。
Hugging Face BlogAI 评分4747 Deep Q-Learning with Space Invaders：Hugging Face 深度强化学习课程第 3 单元
Hugging Face 深度强化学习课程第 3 单元讲解 Deep Q-Learning：用神经网络替代 Q-table 来近似 Q 值，解决 Q-Learning 无法应对 Space Invaders 这类 256^100800 巨大状态空间的问题。
Hugging Face BlogAI 评分4545 无需真实数据的表格预训练：TAPEX 简介
微软团队提出 TAPEX，通过在合成 SQL 查询及其执行结果上学习神经 SQL 执行器来完成表格预训练，无需真实数据。
Hugging Face BlogAI 评分2424 机器学习专家访谈：Hugging Face 研究科学家 Sasha Luccioni
Hugging Face 研究科学家 Sasha Luccioni 在 Machine Learning Experts 节目中分享她的职业经历与研究方向。
Hugging Face BlogAI 评分5050 Hugging Face 介绍用 Accelerate 结合 PyTorch FSDP 训练大模型
Hugging Face 发文介绍如何在 Accelerate 库中使用 PyTorch FullyShardedDataParallel（FSDP），无需改动代码即可分片训练大模型。
Hugging Face BlogAI 评分4444 用 Kili 与 HuggingFace AutoTrain 构建评论分类的主动学习流程
这是一篇教程，讲解如何用 HuggingFace AutoTrain 和 Kili 搭建文本分类的主动学习流程。文章以 Google Play Store 上约 40130 条 Medium 应用评论为数据集，定义了订阅、内容、界面、用户体验 4 个分类，并对评论做情感分析。
Hugging Face BlogAI 评分2626 在 Habana Gaudi 上上手 Transformers 实战教程
Hugging Face 实战演示如何在 AWS EC2 DL1 实例（配备 8 个 Habana Gaudi 处理器）上微调 BERT：使用 Habana Deep Learning AMI 和 PyTorch 容器。
Hugging Face BlogAI 评分5959 Hugging Face 官方教程：用机器学习微调 DeBERTa 自动过滤不满意的客户消息
Hugging Face 官方博客以客户服务为场景，演示如何用其生态工具微调 microsoft/deberta-v3-base，将客户消息按 5 类情感分类以自动过滤最不满意的反馈。
Hugging Face BlogAI 评分4141 如何用 AutoNLP 与 Prodigy 构建主动学习流水线
Hugging Face 介绍如何结合其 AutoNLP 框架与 Explosion 的标注工具 Prodigy 搭建主动学习流水线。
OpenAI NewsAI 评分5454 OpenAI 开放 GPT-3 应用定制微调
OpenAI 宣布可为应用定制 GPT-3，通过一条命令即可完成微调。
Hugging Face Blog精选AI 评分6363 Hugging Face 从零训练 Python 代码生成模型 CodeParrot 的完整教程
Hugging Face 发布教程，展示如何从零训练名为 CodeParrot 的 GPT-2 代码生成模型。
推荐理由：原文从数据清洗到训练和评测完整走一遍预训练流程，方法步骤可迁移到读者自己的代码模型训练。
Hugging Face BlogAI 评分4242 Hugging Face 推出 Data Measurements Tool：交互式数据集测量工具
Hugging Face 推出开源的 Data Measurements Tool（DMT），提供交互界面和 Python 库，帮助数据集创建者和用户自动计算并比较 NLP 数据集的指标，支持在线使用。
Hugging Face BlogAI 评分2828 如何用 Intel 技术加速 PyTorch 分布式微调
这篇教程演示如何用 Intel Xeon Scalable（Ice Lake 架构）CPU 集群加速 PyTorch 分布式微调，在 GLUE 基准的 MRPC 数据集（5,800 个句子对）上微调 BERT 文本分类模型。
Hugging Face BlogAI 评分3131 大语言模型：新的摩尔定律？
Microsoft 与 NVIDIA 发布了基于 Transformer 的 Megatron-Turing NLG 530B，被称为“全球最大最强生成式语言模型”。
OpenAI NewsAI 评分5454 OpenAI 发布基于人类反馈的书籍摘要研究
OpenAI 发布通过人类反馈扩展 AI 系统人类监督的研究，针对难以评估的任务训练书籍摘要模型。原文仅提供一句话摘要，未给出更多实验细节。
Hugging Face Blog精选AI 评分6161 Hugging Face 发布 DeDLOC 协作训练方法并用 40 名志愿者预训练 sahajBERT
Hugging Face 联合 Yandex Research 等机构提出 DeDLOC 分布式协作训练方法，可自适应参与者的网络与硬件条件。该方法由 40 名志愿者协同预训练了孟加拉语模型 sahajBERT（约 18M 参数，基于 ALBERT），在 NER 上 F1 达 95.45、NCC 准确率 91.97，结果与数百块 V100 训练的 XLM-R-large 相当。
推荐理由：原文给出 DeDLOC 协作训练方法细节和 40 名志愿者预训练 sahajBERT 的实测结果，含下游任务对比数据，方法可复用。
Hugging Face BlogAI 评分4747 使用 🤗 Transformers 和 Amazon SageMaker 分布式训练 BART/T5 完成摘要任务
Hugging Face 与 Amazon SageMaker 合作推出优化的 Deep Learning Containers，通过 SageMaker Python SDK 中的 HuggingFace estimator 可一行代码启动训练。
Hugging Face BlogAI 评分4545 理解 BigBird 的块稀疏注意力
BigBird 用块稀疏注意力替代 BERT 的全注意力，可处理最长 4096 的序列，计算成本远低于 BERT，其 RoBERTa 类模型已在 🤗Transformers 中可用。其注意力由三部分近似：捕获邻近依赖的滑动注意力、被所有 token 关注的全局 token，以及随机选择的随机 token，以此在长序列上高效逼近全注意力。该模型在长文档摘要、长上下文问答等任务上取得 SOTA。
Hugging Face BlogAI 评分3737 Hugging Face Reads 2021年2月：长序列 Transformer 论文导读
Hugging Face 2021年2月阅读小组聚焦长序列 Transformer 的注意力效率问题，重点解读四篇论文：Longformer（定制注意力模式）、Compressive Transformer（循环机制）、Linformer（低秩近似）和 Performer（核近似）。
Hugging Face BlogAI 评分5555 Hugging Face 工程师分享构建和调试神经网络的心法与检查清单
Hugging Face 员工撰文分享构建和调试神经网络的心智流程，核心是先放下机器学习、深入了解数据，再从简单基线（如基于 word2vec 或 fastText 的逻辑回归）逐步过渡到复杂模型。