如何在 Hugging Face Space 中托管 Unity 游戏
Hugging Face Spaces 除了用于机器学习 demo,也可以托管可玩的 Unity 游戏。教程共 11 步:用 Static HTML 模板创建 Space 并用 Git 克隆,将 Unity 项目 Build Target 切换为 WebGL,压缩格式设为 Disabled,构建后把文件复制到仓库,用 Git-LFS 跟踪 Build/* 大文件后推送即可。
Hugging Face Spaces 除了用于机器学习 demo,也可以托管可玩的 Unity 游戏。教程共 11 步:用 Static HTML 模板创建 Space 并用 Git 克隆,将 Unity 项目 Build Target 切换为 WebGL,压缩格式设为 Disabled,构建后把文件复制到仓库,用 Git-LFS 跟踪 Build/* 大文件后推送即可。
Hugging Face 发布教程,讲解如何用 Transformers 库(版本 >= 4.27.2)和 Microsoft 的 Graphormer 进行图分类。
Hugging Face 与开源联邦学习框架 Substra 合作创建了一个 Space,演示如何在数据不出本地的前提下训练模型。联邦学习只传输模型权重,多来源数据训练的模型在验证数据上几乎总优于单一来源模型。Substra 已在乳腺癌研究等真实场景落地,并曾支撑 MELLODDY 项目中 10 家药企共享全球最大的小分子活性数据集。
Hugging Face 发布 StackLLaMA 模型及完整 RLHF 训练教程,演示如何将 LLaMA 7B 微调用于回答 Stack Exchange 问答。
推荐理由:Hugging Face 官方复盘 StackLLaMA 全流程训练细节,包括显存估算、LoRA 配置和 RLHF 训练中的稳定性坑,方法可直接迁移复用。
Hugging Face 发布教程,演示多种技术在 Sapphire Rapids CPU 上加速 Stable Diffusion 推理。
Hugging Face 展示了如何用 Optimum Habana 在 Habana Gaudi2 上部署 1760 亿参数的 BLOOMZ。基准测试中,Gaudi2 生成 100 个 token 的延迟为 3.103 秒,比 A100 80GB 快 1.42 倍;BLOOMZ-7B 则快 2.89 倍。
这是一篇教程,讲解如何用 Flower 框架结合 Hugging Face,在多个客户端上对预训练模型 distilBERT 做联邦微调,完成 IMDB 影评正负情感分类任务。各客户端在本地训练模型并只上传参数,由服务器按预定义策略聚合,无需共享数据。教程还提供可在 Google Colab 中用 flwr['simulation'] 模拟联邦环境的 notebook。
Hugging Face 发布教程,详解如何用 diffusers 训练 ControlNet,并以基于 Microsoft FaceSynthetics 10 万合成人脸数据集训练的 Uncanny Faces 面部姿态模型为例。
推荐理由:作者以亲身训练经历给出从数据集构建到训练参数的完整流程,还分享了过拟合教训和 8GB 显存的降配方法。
Hugging Face 宣布 Informer 模型已在 🤗 Transformers 库中可用,并演示如何用它做多变量概率时间序列预测。
Hugging Face 官方发布 trl 与 peft 的集成,让用户能以更低成本用强化学习微调大语言模型。通过 8-bit 加载(LLM.int8)、低秩适配器以及用 disable_adapters 复用同一模型获取参考与主动 logits,作者在 24GB NVIDIA 4090 上验证了微调 20B gpt-neox 生成正面影评的完整流程,并指出训练速度和多卡扩展是下一步方向。
推荐理由:原文给出 trl 与 peft 集成的完整微调流程和显存拆解,读者可以照此在单张 24GB GPU 上复现大模型 RLHF 训练。
Hugging Face 发布教程,介绍如何在 Diffusers 中通过 StableDiffusionControlNetPipeline 使用 ControlNet,支持 canny 边缘、OpenPose 姿态等 8 种空间条件控制 Stable Diffusion 生成,并可组合多个条件或与 DreamBooth 微调结合。
推荐理由:原文给出 ControlNet 在 Diffusers 中的完整用法和加速省显存配置,读者可以照搬代码在 Colab 上复现同样的生成效果。
Hugging Face 博客复盘志愿者团队在 2023 年 2 月土耳其地震后开发 afetharita 应用的过程:用 easyocr 加微调 NER 模型从求助推文截图提取姓名、电话和地址,用 bert-base-turkish 系列微调文本分类模型识别庇护、食物、物流等需求,并将地址经地理编码 API 显示在地图上。
Witty Works 在 Hugging Face 专家加速计划支持下,将写作助手从基于 spaCy 的语言学特征方案升级为上下文相关的非包容性词汇分类器。专家团队建议采用 Sentence Transformers 架构和 SetFit 少样本微调库,每个特定词仅需 15-20 个标注句子即可达到可用精度,省去大量标注成本。
Hugging Face 发布教程,介绍 Salesforce Research 的 BLIP-2 模型已登陆 Transformers 库,并演示零样本图像描述、提示式图像描述、视觉问答和对话式提示四类用法。
推荐理由:文章拆解了 BLIP-2 的 Q-Former 架构和两阶段预训练方法,并给出在 Transformers 中跑通图生文、VQA 和对话提示的完整代码。
作者团队将原本跑在 AWS ECS + Fargate 上的 CPU 推理模型迁移到 Hugging Face Inference Endpoints,流程从七步简化为三步。实测中 RoBERTa 文本分类模型在 large 端点延迟约 80ms,比自建容器快一倍以上;成本增加 24% 到 50%(大型实例约每月多 $60),但省去了 API 和容器维护的时间成本。
Hugging Face 的 AI 游戏开发系列第五篇用 ChatGPT 为一个 5 天开发周期内的农场游戏生成故事内容,流程包括生成故事摘要、多轮精炼、撰写并扩展游戏内物品描述。文章指出语言模型易复刻《星露谷物语》等既有故事、长内容质量漂移并陷入重复,且直接使用生成内容可能带来法律、伦理和商业风险,建议将其用于头脑风暴、人工撰写最终内容。
Hugging Face 测试了 Intel Sapphire Rapids(r7iz.16xlarge)与 Ice Lake(c6i.16xlarge)服务器在 NLP 推理上的表现。
Hugging Face 撰文介绍视觉-语言(vision-language)联合模型,以 OpenAI 的 CLIP 等为代表,这类模型可处理图像与自然语言文本,擅长图像描述、视觉问答、文本引导图像生成等任务。
Hugging Face 宣布 diffusers 正式支持用 LoRA 对 Stable Diffusion 做全量微调和 Dreambooth 训练。
推荐理由:Hugging Face 官方介绍 diffusers 支持 LoRA 微调 Stable Diffusion,给出训练脚本、显存需求和推理加载流程,方法可直接复现。
Hugging Face 的 AI 游戏开发系列第 4 篇介绍用 Stable Diffusion Image2Image 生成 2D 游戏素材,演示为农场游戏制作玉米图标。
Hugging Face 发布博客,系统梳理让对话智能体有用的关键技术 RLHF、IFT、SFT、CoT 与红队测试,并对比 LaMDA、BlenderBot 3、Sparrow、InstructGPT 与 Anthropic Assistant 的训练数据、模型规模与评估标准。文章指出指令微调所需数据远小于预训练,CoT 微调能提升逐步推理任务表现并减少对敏感话题的回避。
推荐理由:文章系统梳理了 RLHF、IFT、SFT、CoT 等技术如何让对话智能体有用,并对比主流模型差异。
在「AI 做游戏开发」系列第 3 天,作者探讨用 AI 生成 3D 资产,结论是目前 text-to-3D 尚无法实际用于游戏开发。文中盘点 DreamFusion、Point-E、CLIP-Forge、Dream Textures 等最新进展,指出基于 NeRF 的视图合成转出的 mesh 仍需大量后期处理才能 game-ready。
Hugging Face 发文介绍 Mask2Former 和 OneFormer 两个通用图像分割模型现已进入 transformers 库。
Hugging Face 官方博客发布教程,讲解如何用 Transformers 和 Datasets 构建图像相似度系统:用 nateraw/vit-base-beans checkpoint 提取图像嵌入向量,通过余弦相似度在 beans 数据集 100 个候选样本中检索与查询图最相似的 Top 5。
这是 Hugging Face「AI for Game Development」系列第 2 部分,讲如何用 ChatGPT 辅助游戏设计:作者让 ChatGPT 以专业游戏设计师身份给出农场游戏的关键功能建议(作物多样性、进度系统、动态环境、社交多人、故事主题),并在 5 天开发周期内对前两点做了 gray-box 实现。
Hugging Face 发布图机器学习入门教程,讲解图的基本概念、表示方法及应用任务,涵盖图级、节点级、边级和子图级任务,如 AlphaFold 的节点属性预测和推荐系统中的缺失边预测。文章依次介绍从前神经网络方法到图神经网络(GNN)的学习方式,并简要探讨面向图的 Transformer,聚焦同质图,区分 transductive 与 inductive 两种设置。
Hugging Face 发布 AI 游戏开发系列教程第 1 部分,目标是用 AI 工具在 5 天内完成一个可玩的农场游戏。
Hugging Face 发布教程,介绍如何用 Intel 第四代 Xeon(Sapphire Rapids)CPU 集群在 AWS 上加速 PyTorch 训练。
推荐理由:原文给出在 Intel Sapphire Rapids CPU 集群上做分布式训练的完整步骤和实测数据,读者可以照搬这套方法。
Hugging Face 发布教程,讲解如何用 🤗 transformers 运行零样本分割模型 CLIPSeg。
推荐理由:教程讲清了 CLIPSeg 的零样本分割原理、文本与图像两种提示用法及低分辨率局限,并给出在 Segments.ai 上精修标注的完整流程。
Hugging Face 发布音频数据集完整指南,演示用 🤗 Datasets 库一行 Python 代码加载和预处理音频数据集。
Habana Gaudi2 在训练和推理上的速度约为 Nvidia A100 80GB 的两倍。BERT 预训练中,Gaudi2 用时 2 小时 55 分钟,相比第一代 Gaudi 的 8 小时 53 分钟实现 x3.04 加速。
Hugging Face 发布长文图解 RLHF,将其拆为预训练语言模型、训练奖励模型、用 PPO 微调三个核心步骤。文中说明人类偏好采用排序而非直接打分以降低噪声,奖励函数含 KL 惩罚以防止策略偏离初始模型,并介绍 TRL、TRLX、RL4LMs 等开源工具及代表性论文,同时指出人类标注成本高、标注者分歧等局限。
推荐理由:这篇官方长文把 RLHF 拆解为预训练、奖励模型和 PPO 微调三步,并梳理开源工具与关键论文,适合建立完整认知。
Hugging Face 发布面向生物学家和机器学习从业者的蛋白质深度学习入门文章,讲解 BERT、GPT 等大语言模型背后的迁移学习原理如何应用于蛋白质研究。文章回顾了 2018 年 ULMFiT 和 BERT 开创预训练范式的过程,并配套提供蛋白质语言模型微调与 ESMFold 蛋白质折叠的示例 notebook(PyTorch 与 TensorFlow 版)。
Hugging Face 联合 Apple 将 Stable Diffusion 权重转换为 Core ML 格式并上传 Hub,支持 v1.4、v1.5、v2 base 和 v2.1 base,可在 Apple Silicon 的 CPU、GPU 和 Neural Engine 上运行。
推荐理由:原文给出在 Apple Silicon 上用 Core ML 跑 Stable Diffusion 的转换与推理方法,包括 Python 和 Swift 两条路径及性能变体选择,可迁移到自己的工作流。
Hugging Face 发布教程,讲解如何用 🤗 Transformers 库的 Time Series Transformer 从零训练单变量概率时间序列预测模型,并使用 tourism_monthly 数据集(澳大利亚 366 个地区的月度旅游量)。
Hugging Face 联合 Jonathan Whitaker 推出的免费扩散模型课程将于 11 月 28 日发布,并定于 11 月 30 日举办社区直播活动。
Hugging Face 发布 Document AI 长文教程,梳理 OCR、文档图像分类、版面分析、文档解析、表格提取和 DocVQA 六大用例及对应开源模型。文中给出关键基准数字,如 LayoutLMv3 在 RVL-CDIP 达 95% 准确率、DocVQA ANLS 83.37,并提醒 LayoutLMv2/v3 checkpoint 不可商用,附数据准备与建模建议。
Hugging Face 博客发布实用教程,讲解如何用 Concrete-ML 库在 fully homomorphic encryption(FHE)设置下对加密数据构建情感分析模型,无需密码学背景。
Hugging Face 宣布对比搜索解码方法进入 transformers 4.24.0,支持 PyTorch 和 TensorFlow,并附 Colab 与在线对比演示。
推荐理由:原文用 GPT-2 和 OPT 的实例对比贪心、nucleus 采样与对比搜索的输出质量,并给出可复用的代码参数。
Hugging Face 基于大量实验讲解如何用 🧨 Diffusers 的 train_dreambooth.py 微调 Stable Diffusion,并给出推荐设置:低学习率配合逐步增加步数,人脸训练约需 800-1200 步(batch size 2、LR 1e-6),训练人脸时应使用 prior preservation 防止过拟合。
推荐理由:Hugging Face 用多组实验给出 Dreambooth 微调 Stable Diffusion 的学习率、步数、先验保留等关键超参建议,可直接照做。