跳到正文

#开源生态

今日 2 条
4月5日周三
3月30日周四
  1. Hugging Face Blog28

    Hugging Face 伦理与社会通讯 #3:Hugging Face 的伦理开放之道

    Hugging Face 阐述其在开放机器学习中的伦理实践:通过逐案分析风险、识别高风险模型,在开放开发与风险控制之间寻求平衡。平台已推出 flagging 举报功能、模型卡文档、“Not For All Audiences” 标签,并推广 RAIL 开放责任许可(如 BLOOM、BigCode),同时基于社区 Spaces 总结出 6 个伦理分类标签。

3月27日周一
  1. Hugging Face Blog42

    如何用 Hugging Face 和 Flower 进行联邦学习

    这是一篇教程,讲解如何用 Flower 框架结合 Hugging Face,在多个客户端上对预训练模型 distilBERT 做联邦微调,完成 IMDB 影评正负情感分类任务。各客户端在本地训练模型并只上传参数,由服务器按预定义策略聚合,无需共享数据。教程还提供可在 Google Colab 中用 flwr['simulation'] 模拟联邦环境的 notebook。

3月24日周五
3月23日周四
3月10日周五
3月9日周四
  1. Hugging Face Blog70

    Hugging Face 发布 trl 与 peft 集成,在 24GB 消费级 GPU 上用 RLHF 微调 20B 模型

    Hugging Face 官方发布 trl 与 peft 的集成,让用户能以更低成本用强化学习微调大语言模型。通过 8-bit 加载(LLM.int8)、低秩适配器以及用 disable_adapters 复用同一模型获取参考与主动 logits,作者在 24GB NVIDIA 4090 上验证了微调 20B gpt-neox 生成正面影评的完整流程,并指出训练速度和多卡扩展是下一步方向。

    推荐理由:原文给出 trl 与 peft 集成的完整微调流程和显存拆解,读者可以照此在单张 24GB GPU 上复现大模型 RLHF 训练。

3月6日周一
3月3日周五
2月24日周五
2月21日周二
  1. Hugging Face Blog51

    Hugging Face 与 AWS 达成长期战略合作,降低模型训练与部署门槛

    Hugging Face 宣布与 AWS 扩大长期战略合作,Hugging Face 将 AWS 作为首选云提供商,开发者可通过 Amazon SageMaker、AWS Trainium、AWS Inferentia 等工具在 AWS 上训练、微调和部署模型。双方称此举旨在让生成式 AI 模型更易获取,降低成本,帮助社区将最新研究转化为开放可复现的模型。

2月8日周三
2月7日周二
1月30日周一
1月26日周四
1月24日周二
1月20日周五
1月19日周四
1月17日周二
12月20日周二
12月9日周五
  1. Hugging Face Blog64

    Hugging Face 图解 RLHF:用人类反馈强化学习微调语言模型的完整流程

    Hugging Face 发布长文图解 RLHF,将其拆为预训练语言模型、训练奖励模型、用 PPO 微调三个核心步骤。文中说明人类偏好采用排序而非直接打分以降低噪声,奖励函数含 KL 惩罚以防止策略偏离初始模型,并介绍 TRL、TRLX、RL4LMs 等开源工具及代表性论文,同时指出人类标注成本高、标注者分歧等局限。

    推荐理由:这篇官方长文把 RLHF 拆解为预训练、奖励模型和 PPO 微调三步,并梳理开源工具与关键论文,适合建立完整认知。

12月2日周五
  1. Hugging Face Blog48

    Hugging Face:蛋白质深度学习入门——从语言模型到蛋白质

    Hugging Face 发布面向生物学家和机器学习从业者的蛋白质深度学习入门文章,讲解 BERT、GPT 等大语言模型背后的迁移学习原理如何应用于蛋白质研究。文章回顾了 2018 年 ULMFiT 和 BERT 开创预训练范式的过程,并配套提供蛋白质语言模型微调与 ESMFold 蛋白质折叠的示例 notebook(PyTorch 与 TensorFlow 版)。

11月29日周二
11月25日周五
11月21日周一
  1. Hugging Face Blog59

    Hugging Face 详解 Document AI:六大用例、开源模型与许可指南

    Hugging Face 发布 Document AI 长文教程,梳理 OCR、文档图像分类、版面分析、文档解析、表格提取和 DocVQA 六大用例及对应开源模型。文中给出关键基准数字,如 LayoutLMv3 在 RVL-CDIP 达 95% 准确率、DocVQA ANLS 83.37,并提醒 LayoutLMv2/v3 checkpoint 不可商用,附数据准备与建模建议。

11月17日周四
11月8日周二
11月3日周四
  1. Hugging Face Blog66

    Hugging Face 发布使用 🤗 Transformers 微调 Whisper 的多语言 ASR 实战教程

    Hugging Face 发布分步教程,讲解如何用 🤗 Transformers、Datasets 和 Hub 对 Whisper 做多语言 ASR 微调,涵盖模型原理、Common Voice 数据准备、WhisperProcessor、Seq2SeqTrainer 训练与 WER 评估。

    推荐理由:教程展示了仅用 8 小时 Common Voice 印地语数据微调 Whisper small,把 WER 从 63.5% 降到 32.0%,方法可迁移到其他低资源语言。

10月24日周一
  1. Hugging Face Blog48

    如何用 🤗 Evaluate 评估语言模型偏见

    Hugging Face 在 🤗 Evaluate 库中新增偏见评估指标,用于探究 GPT-2、BLOOM 等因果语言模型(CLM)编码的社会偏见。工作流分两步:用 🤗 Datasets 上的预定义提示词驱动模型生成,再用 Evaluate 的指标评估,涵盖毒性、语言极性、伤害性三类任务。示例中仅改变代词 he/she,GPT-2 补全的女性代词毒性比例为 0.333,男性为 0.0。

10月19日周三
10月13日周四
10月7日周五
  1. Hugging Face Blog29

    Hugging Face 推出 DOI:为模型和数据集生成数字对象标识符

    Hugging Face Hub 正式支持为模型或数据集生成 DOI(数字对象标识符),用户可在仓库设置中直接生成,他人通过页面上的“Cite this model/dataset”按钮引用。DOI 由 Hugging Face 与 DataCite 合作提供,绑定元数据并生成永久链接;模型或数据集发布新版本时可更新 DOI,旧版 DOI 随之失效。

10月5日周三
10月3日周一
9月27日周二
9月26日周一
  1. Hugging Face Blog68

    Hugging Face 与 Intel Labs、UKP Lab 发布少样本分类框架 SetFit

    Hugging Face 联合 Intel Labs 和 UKP Lab 发布 SetFit,一个无需提示词的少样本文本分类框架。每类仅需 8 个标注样本即可在 Customer Reviews 数据集上媲美用全量 3k 样本微调的 RoBERTa Large;在 RAFT 基准上 355M 参数的 SetFit 超过 PET 和 GPT-3。

    推荐理由:官方详解 SetFit 的原理、训练成本和 RAFT 实测数据,并附可复现的训练代码,方便直接上手做少样本分类。

9月22日周四
9月21日周三