Hugging Face 教程:用 AI 在 5 天内开发农场游戏,第 1 天用 Stable Diffusion 定美术风格
Hugging Face 发布 AI 游戏开发系列教程第 1 部分,目标是用 AI 工具在 5 天内完成一个可玩的农场游戏。
Hugging Face 发布 AI 游戏开发系列教程第 1 部分,目标是用 AI 工具在 5 天内完成一个可玩的农场游戏。
Hugging Face 发布教程,介绍如何用 Intel 第四代 Xeon(Sapphire Rapids)CPU 集群在 AWS 上加速 PyTorch 训练。
推荐理由:原文给出在 Intel Sapphire Rapids CPU 集群上做分布式训练的完整步骤和实测数据,读者可以照搬这套方法。
Hugging Face 发布教程,讲解如何用 🤗 transformers 运行零样本分割模型 CLIPSeg。
推荐理由:教程讲清了 CLIPSeg 的零样本分割原理、文本与图像两种提示用法及低分辨率局限,并给出在 Segments.ai 上精修标注的完整流程。
Hugging Face 发布音频数据集完整指南,演示用 🤗 Datasets 库一行 Python 代码加载和预处理音频数据集。
Habana Gaudi2 在训练和推理上的速度约为 Nvidia A100 80GB 的两倍。BERT 预训练中,Gaudi2 用时 2 小时 55 分钟,相比第一代 Gaudi 的 8 小时 53 分钟实现 x3.04 加速。
Hugging Face 发布长文图解 RLHF,将其拆为预训练语言模型、训练奖励模型、用 PPO 微调三个核心步骤。文中说明人类偏好采用排序而非直接打分以降低噪声,奖励函数含 KL 惩罚以防止策略偏离初始模型,并介绍 TRL、TRLX、RL4LMs 等开源工具及代表性论文,同时指出人类标注成本高、标注者分歧等局限。
推荐理由:这篇官方长文把 RLHF 拆解为预训练、奖励模型和 PPO 微调三步,并梳理开源工具与关键论文,适合建立完整认知。
Hugging Face 发布面向生物学家和机器学习从业者的蛋白质深度学习入门文章,讲解 BERT、GPT 等大语言模型背后的迁移学习原理如何应用于蛋白质研究。文章回顾了 2018 年 ULMFiT 和 BERT 开创预训练范式的过程,并配套提供蛋白质语言模型微调与 ESMFold 蛋白质折叠的示例 notebook(PyTorch 与 TensorFlow 版)。
Hugging Face 联合 Apple 将 Stable Diffusion 权重转换为 Core ML 格式并上传 Hub,支持 v1.4、v1.5、v2 base 和 v2.1 base,可在 Apple Silicon 的 CPU、GPU 和 Neural Engine 上运行。
推荐理由:原文给出在 Apple Silicon 上用 Core ML 跑 Stable Diffusion 的转换与推理方法,包括 Python 和 Swift 两条路径及性能变体选择,可迁移到自己的工作流。
Hugging Face 发布教程,讲解如何用 🤗 Transformers 库的 Time Series Transformer 从零训练单变量概率时间序列预测模型,并使用 tourism_monthly 数据集(澳大利亚 366 个地区的月度旅游量)。
Hugging Face 联合 Jonathan Whitaker 推出的免费扩散模型课程将于 11 月 28 日发布,并定于 11 月 30 日举办社区直播活动。
Hugging Face 发布 Document AI 长文教程,梳理 OCR、文档图像分类、版面分析、文档解析、表格提取和 DocVQA 六大用例及对应开源模型。文中给出关键基准数字,如 LayoutLMv3 在 RVL-CDIP 达 95% 准确率、DocVQA ANLS 83.37,并提醒 LayoutLMv2/v3 checkpoint 不可商用,附数据准备与建模建议。
Hugging Face 博客发布实用教程,讲解如何用 Concrete-ML 库在 fully homomorphic encryption(FHE)设置下对加密数据构建情感分析模型,无需密码学背景。
Hugging Face 宣布对比搜索解码方法进入 transformers 4.24.0,支持 PyTorch 和 TensorFlow,并附 Colab 与在线对比演示。
推荐理由:原文用 GPT-2 和 OPT 的实例对比贪心、nucleus 采样与对比搜索的输出质量,并给出可复用的代码参数。
Hugging Face 基于大量实验讲解如何用 🧨 Diffusers 的 train_dreambooth.py 微调 Stable Diffusion,并给出推荐设置:低学习率配合逐步增加步数,人脸训练约需 800-1200 步(batch size 2、LR 1e-6),训练人脸时应使用 prior preservation 防止过拟合。
推荐理由:Hugging Face 用多组实验给出 Dreambooth 微调 Stable Diffusion 的学习率、步数、先验保留等关键超参建议,可直接照做。
Hugging Face 发布分步教程,讲解如何用 🤗 Transformers、Datasets 和 Hub 对 Whisper 做多语言 ASR 微调,涵盖模型原理、Common Voice 数据准备、WhisperProcessor、Seq2SeqTrainer 训练与 WER 评估。
推荐理由:教程展示了仅用 8 小时 Common Voice 印地语数据微调 Whisper small,把 WER 从 63.5% 降到 32.0%,方法可迁移到其他低资源语言。
Hugging Face 宣布将 Intel OpenVINO 加入 Optimum Intel,基于 OpenVINO 2022.2,可用 OVModels 在多种 Intel 处理器上运行托管在 hub 或本地的 Transformers 模型,并通过 NNCF 进行量化。
Hugging Face 在 🤗 Evaluate 库中新增偏见评估指标,用于探究 GPT-2、BLOOM 等因果语言模型(CLM)编码的社会偏见。工作流分两步:用 🤗 Datasets 上的预定义提示词驱动模型生成,再用 Evaluate 的指标评估,涵盖毒性、语言极性、伤害性三类任务。示例中仅改变代词 he/she,GPT-2 补全的女性代词毒性比例为 0.333,男性为 0.0。
这是一篇 Hugging Face 教程,讲解如何以三种递进的抽象层级在多 GPU 上进行分布式数据并行(DDP)训练:原生 PyTorch 的 pytorch.distributed 模块、🤗 Accelerate 的轻量封装(代码几乎无需改动即可在单 GPU 和 TPU 上运行),以及 🤗 Transformers 的高层 Trainer API。
Hugging Face 推出 Inference Endpoints 服务,可将 Hub 上的模型一键部署到 AWS 等托管基础设施,省去容器打包、基础设施配置和 API 搭建等部署工作。
Diffusers 自 0.5.1 起支持 Flax,官方教程演示如何在 Google TPU 上用 FlaxStableDiffusionPipeline 运行 CompVis/stable-diffusion-v1-4 推理。
Hugging Face 团队发布长文,复盘为 BLOOM(176B 参数、352GB)搭建高效推理服务器的完整过程,最终实现约 5 倍延迟降低(350ms/token 降至 71ms/token)和 50 倍吞吐提升。
推荐理由:原文复盘了把 BLOOM 推理延迟从 350ms 降到 71ms 的完整优化路径,从 profiling 到自定义 kernel 都有可迁移的方法细节。
Hugging Face 的零代码机器学习平台 AutoTrain 新增图像分类任务,用户无需写代码即可上传数据训练模型。AutoTrain 会自动尝试多个候选模型,演示项目中 5 个候选模型里最佳者达到 84% 准确率,表现差的会被自动停止以免浪费资源;使用 5 个候选模型和少于 500 张图像训练免费,训练好的模型可在 Hub 上通过 inference widget 直接试用。
Hugging Face 官方详解 Accelerate 如何在普通硬件上加载并运行超大模型,示例可在免费 Colab 上运行 OPT-6.7B。
推荐理由:官方详解 Accelerate 借助 PyTorch meta device、分片加载与 hooks 实现超大模型推理的完整原理,方法可直接复用。
Hugging Face 演示了如何在 8x80GB A100 上高效运行 176B 参数的 BLOOM 模型(bf16 权重需 352GB)。
Hugging Face 发布教程,讲解如何用 transformers Trainer 和自定义 Data Collator 从零训练 Offline Decision Transformer,让智能体在 Gym HalfCheetah 环境中奔跑。
NVIDIA 的 Megatron-LM 是专为 GPU 高度优化的预训练框架,相比 🤗 Accelerate 和 Trainer 更快但上手门槛更高。它通过高效的 DataLoader 和融合 CUDA kernel(包括 Apex 的 Fused AdamW)减少内存搬移、加速训练。
这篇 Hugging Face 教程讲解如何用 Gradio 的 HTML block 和 3Dmol.js 在 Hugging Face Spaces 中构建蛋白质结构查看器,支持输入 4 位 PDB 编码或上传 PDB 文件,并从 RCSB Protein Databank 获取结构进行渲染。
Hugging Face 官方博客发布教程,展示如何用 🧨 Diffusers 库运行 Stable Diffusion v1-4 文生图模型,模型由 CompVis、Stability AI 和 LAION 基于 LAION-5B 子集的 512x512 图像训练。
推荐理由:官方教程从StableDiffusionPipeline基础用法讲到自定义推理管线,读者可以按步骤复现文生图并理解潜在扩散的三个组件。
这是一篇教程,讲解如何用 Hugging Face Transformers、Optimum Habana 和 Datasets 库,在 AWS DL1 实例(Habana Gaudi)上以掩码语言建模(MLM)任务从零预训练 BERT-base。
Hugging Face 讲解如何把此前已在本地和 Kubernetes 部署过的 ViT B/16 TensorFlow 模型部署到 Google Cloud 的 Vertex AI 平台,用更少的代码获得与 Kubernetes 相当的扩展性。
Hugging Face 展示如何用 Optimum Graphcore 库在 Graphcore IPU 上微调视觉 Transformer(ViT)模型,示例为在 ImageNet-21k 预训练的 ViT 上微调 ChestX-ray14 胸部 X 光数据集。
Hugging Face 与 BigScience 将 LLM.int8() 8-bit 量化集成进 transformers 和 accelerate,使 BLOOM-176B 等 176B 参数大模型的推理显存占用减半且性能不下降。
推荐理由:原文由集成团队讲解 LLM.int8() 的量化原理、零性能下降验证和 transformers 集成细节,读者可据此在有限显存上运行大模型。
Hugging Face 阐述其 transformers 库对 TensorFlow 的设计理念:所有 TF 模型都应是 Keras Model 对象,所有层都是 Keras Layer 对象,从而可直接使用 fit()、compile()、predict() 等方法。
这是一篇教程,讲解如何将上一篇文章中用 TensorFlow Serving 本地部署的 Vision Transformer (ViT) 模型,通过 Docker 容器化和 Kubernetes 集群扩展为可服务大量用户的部署。
Hugging Face 教程讲解如何从零构建或微调 Sentence Transformers 模型:先用 distilroberta-base 等 Transformer 输出 token 嵌入,再经池化层得到固定长度句子嵌入。
Hugging Face 深度强化学习课程第 8 单元讲解 Proximal Policy Optimization(PPO),核心是通过比率裁剪将策略更新限制在 [1−ϵ,1+ϵ] 区间以提升训练稳定性。
Nyströmformer 借助 Nyström 矩阵近似方法,将标准自注意力的 O(n²) 时间与内存复杂度降至 O(n)。由于无法直接对 softmax 矩阵采样,该方法从 queries 和 keys 中以 segment means 构建地标点来近似 softmax 矩阵,并配合 1D depthwise convolution 的 skip connection。
Hugging Face 宣布 🤗 transformers 的 TensorFlow 文本生成支持 XLA 编译,部分场景提速超过 100 倍,多数情况下甚至快过 PyTorch 最高 9 倍。
推荐理由:官方详解 TensorFlow 文本生成用 XLA 加速的用法与坑,给出 padding 控制形状和一行代码启用的可复用方法。
Hugging Face 团队发布教程,讲解如何用 TensorFlow Serving 在本地部署 Transformers 中的 TensorFlow 视觉模型,示例为 google/vit-base-patch16-224 图像分类模型。
Hugging Face 深度强化学习课程第 7 单元讲解 Advantage Actor Critic (A2C)。文章指出 Reinforce 因使用 Monte-Carlo 采样估计回报导致策略梯度方差高、训练慢,而 Actor-Critic 架构结合 Actor(策略)与 Critic(价值函数)可降低方差。