Hugging Face 发布 Model Card 创建工具与指南手册
Hugging Face 发布 Model Card Creator 工具、更新版模型卡模板及指南手册,让用户无需编程即可创建模型卡。本次发布还包括标注版模板、Hugging Face 内部用户研究,以及模型文档现状的文献综述。团队未来计划将 Evaluate on the Hub 等工具的自动评估结果导入模型卡工作流。
Hugging Face 发布 Model Card Creator 工具、更新版模型卡模板及指南手册,让用户无需编程即可创建模型卡。本次发布还包括标注版模板、Hugging Face 内部用户研究,以及模型文档现状的文献综述。团队未来计划将 Evaluate on the Hub 等工具的自动评估结果导入模型卡工作流。
借助新发布的 Bumblebee 库——纯 Elixir 实现的 Hugging Face Transformers,GPT2 到 Stable Diffusion 等神经网络模型已可在 Elixir 中运行。
Hugging Face 发布长文图解 RLHF,将其拆为预训练语言模型、训练奖励模型、用 PPO 微调三个核心步骤。文中说明人类偏好采用排序而非直接打分以降低噪声,奖励函数含 KL 惩罚以防止策略偏离初始模型,并介绍 TRL、TRLX、RL4LMs 等开源工具及代表性论文,同时指出人类标注成本高、标注者分歧等局限。
推荐理由:这篇官方长文把 RLHF 拆解为预训练、奖励模型和 PPO 微调三步,并梳理开源工具与关键论文,适合建立完整认知。
Hugging Face 发布面向生物学家和机器学习从业者的蛋白质深度学习入门文章,讲解 BERT、GPT 等大语言模型背后的迁移学习原理如何应用于蛋白质研究。文章回顾了 2018 年 ULMFiT 和 BERT 开创预训练范式的过程,并配套提供蛋白质语言模型微调与 ESMFold 蛋白质折叠的示例 notebook(PyTorch 与 TensorFlow 版)。
Hugging Face 宣布启动 2023 年实习计划,开放多个岗位:Open Source 团队的 Accelerate 实习和 Text to Speech 实习。
Hugging Face 联合 Jonathan Whitaker 推出的免费扩散模型课程将于 11 月 28 日发布,并定于 11 月 30 日举办社区直播活动。
Hugging Face 梳理了在其 Hub 上部署模型的多种推理方案:免费试用的 Inference Widget 和 Inference API,以及面向生产环境的 Inference Endpoints 和 Spaces。
Hugging Face 发布 Document AI 长文教程,梳理 OCR、文档图像分类、版面分析、文档解析、表格提取和 DocVQA 六大用例及对应开源模型。文中给出关键基准数字,如 LayoutLMv3 在 RVL-CDIP 达 95% 准确率、DocVQA ANLS 83.37,并提醒 LayoutLMv2/v3 checkpoint 不可商用,附数据准备与建模建议。
Hugging Face 与 arXiv 合作,在 arXivLabs 上集成 Hugging Face Spaces 的 Demos 标签,读者可在论文页面直接找到社区或作者创建的开源 demo。
Hugging Face 宣布对比搜索解码方法进入 transformers 4.24.0,支持 PyTorch 和 TensorFlow,并附 Colab 与在线对比演示。
推荐理由:原文用 GPT-2 和 OPT 的实例对比贪心、nucleus 采样与对比搜索的输出质量,并给出可复用的代码参数。
Hugging Face 发布分步教程,讲解如何用 🤗 Transformers、Datasets 和 Hub 对 Whisper 做多语言 ASR 微调,涵盖模型原理、Common Voice 数据准备、WhisperProcessor、Seq2SeqTrainer 训练与 WER 评估。
推荐理由:教程展示了仅用 8 小时 Common Voice 印地语数据微调 Whisper small,把 WER 从 63.5% 降到 32.0%,方法可迁移到其他低资源语言。
Hugging Face 在 🤗 Evaluate 库中新增偏见评估指标,用于探究 GPT-2、BLOOM 等因果语言模型(CLM)编码的社会偏见。工作流分两步:用 🤗 Datasets 上的预定义提示词驱动模型生成,再用 Evaluate 的指标评估,涵盖毒性、语言极性、伤害性三类任务。示例中仅改变代词 he/she,GPT-2 补全的女性代词毒性比例为 0.333,男性为 0.0。
Hugging Face 发布 MTEB(Massive Text Embedding Benchmark),用于衡量文本嵌入模型在多种任务上的表现,排行榜已汇总超过 2000 个结果。
Diffusers 自 0.5.1 起支持 Flax,官方教程演示如何在 Google TPU 上用 FlaxStableDiffusionPipeline 运行 CompVis/stable-diffusion-v1-4 推理。
Hugging Face Hub 正式支持为模型或数据集生成 DOI(数字对象标识符),用户可在仓库设置中直接生成,他人通过页面上的“Cite this model/dataset”按钮引用。DOI 由 Hugging Face 与 DataCite 合作提供,绑定元数据并生成永久链接;模型或数据集发布新版本时可更新 DOI,旧版 DOI 随之失效。
rinna 基于 Stable Diffusion 微调出日语文生图模型 Japanese Stable Diffusion,接受日语提示词并生成反映日语圈文化的图像。
Hugging Face 的 Evaluation on the Hub 功能升级,任何 Hub 上的 causal language model 现在都能免代码进行零样本分类评估,由 AutoTrain 驱动且免费。
Hugging Face 官方详解 Accelerate 如何在普通硬件上加载并运行超大模型,示例可在免费 Colab 上运行 OPT-6.7B。
推荐理由:官方详解 Accelerate 借助 PyTorch meta device、分片加载与 hooks 实现超大模型推理的完整原理,方法可直接复用。
Hugging Face 联合 Intel Labs 和 UKP Lab 发布 SetFit,一个无需提示词的少样本文本分类框架。每类仅需 8 个标注样本即可在 Customer Reviews 数据集上媲美用全量 3k 样本微调的 RoBERTa Large;在 RAFT 基准上 355M 参数的 SetFit 超过 PET 和 GPT-3。
推荐理由:官方详解 SetFit 的原理、训练成本和 RAFT 实测数据,并附可复现的训练代码,方便直接上手做少样本分类。
Hugging Face 推出 Ethics and Society Newsletter,由公司内跨团队的"Ethics and Society regulars"开放小组编写,计划每季度在春分、夏至、秋分、冬至发布。
OpenAI 宣布训练并开源名为 Whisper 的神经网络,该模型在英文语音识别上的鲁棒性和准确率接近人类水平。
推荐理由:OpenAI 官方宣布开源 Whisper,读者可以据此了解其在英文语音识别上的准确性与鲁棒性水平。
Hugging Face 演示了如何在 8x80GB A100 上高效运行 176B 参数的 BLOOM 模型(bf16 权重需 352GB)。
Hugging Face 发布 diffusers 0.3,为 Stable Diffusion 新增图像到图像生成、Textual Inversion(3-5 张样本即可训练并分享概念,社区已贡献超 200 个概念)和实验性 inpainting 管线。
推荐理由:官方梳理 diffusers 0.3 的图生图、Textual Inversion、低显存优化等新能力,读者可以据此判断扩散模型工具链的可用性变化。
NVIDIA 的 Megatron-LM 是专为 GPU 高度优化的预训练框架,相比 🤗 Accelerate 和 Trainer 更快但上手门槛更高。它通过高效的 DataLoader 和融合 CUDA kernel(包括 Apex 的 Fused AdamW)减少内存搬移、加速训练。
Hugging Face 支持的 RAIL Initiative 推出 OpenRAIL(开放且负责任的 AI 许可证),旨在让 AI 模型在开放获取、使用和再分发的同时约束负责任使用。
这篇 Hugging Face 教程讲解如何用 Gradio 的 HTML block 和 3Dmol.js 在 Hugging Face Spaces 中构建蛋白质结构查看器,支持输入 4 位 PDB 编码或上传 PDB 文件,并从 RCSB Protein Databank 获取结构进行渲染。
Hugging Face 与 BigScience 将 LLM.int8() 8-bit 量化集成进 transformers 和 accelerate,使 BLOOM-176B 等 176B 参数大模型的推理显存占用减半且性能不下降。
推荐理由:原文由集成团队讲解 LLM.int8() 的量化原理、零性能下降验证和 transformers 集成细节,读者可据此在有限显存上运行大模型。
Hugging Face 发布新库 Skops,让用户将 scikit-learn 模型托管到 Hugging Face Hub 并创建模型卡。
Hugging Face 教程讲解如何从零构建或微调 Sentence Transformers 模型:先用 distilroberta-base 等 Transformer 输出 token 嵌入,再经池化层得到固定长度句子嵌入。
Hugging Face 深度强化学习课程第 8 单元讲解 Proximal Policy Optimization(PPO),核心是通过比率裁剪将策略更新限制在 [1−ϵ,1+ϵ] 区间以提升训练稳定性。
Hugging Face 推出 Private Hub(PH),为从研究到生产的机器学习全流程提供一套安全合规的统一工具。
Hugging Face 于 2022 年 6 月底向白宫科技政策办公室和 NSF 提交了对 NAIRR 中期报告的意见。Hugging Face 建议任命技术与伦理专家为顾问、制定模型和数据文档标准(如 Model Cards)、提供低代码工具(如 AutoTrain)降低跨学科使用门槛,并监控开源资源的滥用风险。
Hugging Face 宣布 🤗 transformers 的 TensorFlow 文本生成支持 XLA 编译,部分场景提速超过 100 倍,多数情况下甚至快过 PyTorch 最高 9 倍。
推荐理由:官方详解 TensorFlow 文本生成用 XLA 加速的用法与坑,给出 padding 控制形状和一行代码启用的可复用方法。
Hugging Face 详细复盘 176B 参数模型 BLOOM 的训练技术,项目使用 384 张 80GB A100 GPU、350B token 的 59 语言数据集,耗时约 3.5 个月(约 100 万计算小时)。
BigScience 项目发布开源多语言大模型 BLOOM,1760 亿参数,可生成 46 种自然语言和 13 种编程语言的文本。训练历时 117 天,在法国 Jean Zay 超算上完成,涉及 70 多国 250 多个机构的 1000 多名研究者。
推荐理由:大语言模型开源和透明训练的代表性案例,说明了开放协作如何让百亿级参数模型走向可研究、可复用。
Hugging Face 发布教程,讲解如何通过 Accelerate 使用 DeepSpeed ZeRO 特性训练大模型,无需修改代码即可启用 ZeRO Stage-2。
Hugging Face 推出 Evaluation on the Hub,由 AutoTrain 驱动,无需写任何代码即可在 Hub 上用任意数据集和指标评估任意模型。团队已评估数百个模型,并通过 Pull Request 将验证结果写入模型卡元数据。提交界面和排行榜基于 Hugging Face Spaces 构建,支持为任务找最佳模型、在新数据集上跑基线等场景。
Intel 正式加入 Hugging Face 的 Hardware Partner Program,双方将基于开源库 Optimum Intel 为 Transformer 的训练、微调和推理构建硬件加速。
Graphcore 与 Hugging Face 扩展开源库 Hugging Face Optimum,为 Graphcore IPU 优化的 Transformer 模型现已覆盖 NLP、语音和计算机视觉,共 10 个模型,附 IPU 配置文件和即用的预训练与微调权重。
Hugging Face 宣布在 Hub 上线 pull requests 和 discussions 功能,所有模型、数据集和 Spaces 仓库的 Community 标签页均可用。任何社区成员都能参与讨论和贡献,PR 不使用 fork,而是把自定义 ref 分支直接存放在源仓库,整体比 GitHub 的 PR 和 Issues 更简化,面向 ML 仓库场景优化。
推荐理由:官方介绍 Hub 新增 pull requests 和 discussions 的用法与底层机制,读者可了解其与 GitHub PR 的差异及协作方式。