跳到正文

#Hugging Face

今日 0 条
8月30日周三
  1. Hugging Face Blog67

    如何用 Diffusers 优化 AudioLDM 2 推理速度至 10 倍以上

    Hugging Face 官方教程讲解如何在 🧨 Diffusers 中运行 AudioLDM 2 文生音频管线,并通过 Flash Attention、float16 半精度、torch.compile 编译 UNet、切换 DPMSolverMultistepScheduler 将 10 秒音频的生成时间从约 14 秒降到 1 秒以内,且音质几乎不降。

    推荐理由:官方教程给出四种可复用的推理优化方法,把 10 秒音频的生成时间从约 14 秒压到 1 秒以内,可直接迁移到自己的管线。

8月25日周五
  1. Hugging Face Blog37

    Hugging Face Hub 将停止 Git 密码认证,改用访问令牌或 SSH 密钥

    Hugging Face 宣布自 2023 年 10 月 1 日起,通过 Git 操作 Hugging Face Hub 时不再支持密码认证,用户需改用个人访问令牌或 SSH 密钥。令牌具有唯一、可撤销、随机等安全优势。目前仍在使用密码的用户将收到邮件提醒,需在截止日期前完成切换,可通过 git remote set-url 命令更新仓库地址。

  2. Hugging Face Blog83

    Code Llama 发布:Llama 2 代码特化系列模型接入 Hugging Face 生态

    Hugging Face 发布 Code Llama 系列开源代码模型集成,含 7B、13B、34B 三种规格,基于 Llama 2 在 500B token 代码数据上训练,提供 Python 特化版和指令微调版。

    推荐理由:官方完整介绍了模型规格、上下文扩展原理和生态接入方式,读者可以直接据此选择规格并上手部署使用。

8月23日周三
  1. Hugging Face Blog74

    Hugging Face 在 Transformers 中集成 AutoGPTQ,支持 GPTQ 量化大语言模型

    Hugging Face 宣布将 AutoGPTQ 库集成进 Transformers,用户可用 GPTQ 算法以 8、4、3 或 2-bit 精度量化和运行模型,4-bit 量化精度损失可忽略,小 batch 下推理速度接近 fp16 基线。

    推荐理由:官方宣布 AutoGPTQ 集成进 Transformers,读者可据此了解 4-bit 量化 LLM 的内存收益、用法与局限。

8月22日周二
  1. Hugging Face Blog71

    Hugging Face 发布开源视觉语言模型 IDEFICS,复现 Flamingo

    Hugging Face 发布开源视觉语言模型 IDEFICS,是 DeepMind 未公开的 Flamingo 的开放复现,接受任意图像和文本序列输入并生成文本,在多个图像文本理解基准上与原闭源模型表现相当。

    推荐理由:原文说明了 IDEFICS 基于 Flamingo 的复现路线、参数规模与完全公开数据的训练方式,适合关注开源多模态模型生态的读者。

8月10日周四
8月9日周三
8月8日周二
8月4日周五
8月2日周三
8月1日周二
7月27日周四
  1. Hugging Face Blog74

    Apple 与 Hugging Face 发布 Stable Diffusion XL 的 Core ML 版本及混合位宽量化方案

    Apple 与 Hugging Face 将 Stable Diffusion XL 移植到 Core ML,发布完整 pipeline 和 mixed-bit palettization 量化版本,UNet 以平均 4.5 位压缩后体积从 4.8GB 降至 1.4GB(减少 71%)。

    推荐理由:原文给出 Stable Diffusion XL 在 Mac 上的 Core ML 移植细节、压缩到 4.5 位后体积从 4.8GB 降到 1.4GB 的数据,以及可复用的混合位宽量化方法。

7月24日周一
7月21日周五
7月20日周四
7月18日周二
7月17日周一
  1. Hugging Face Blog56

    Hugging Face 开源文本生成与 LLM 生态综述

    Hugging Face 发布博客,介绍其开源文本生成与大语言模型生态,覆盖 Llama 2 等开源模型、许可证对比、text-generation-inference 服务方案及 PEFT 微调工具。文中列出 Falcon 40B、MPT-30B、XGen、StarCoder 等模型的许可与用途,说明 TGI 已支撑 HuggingChat,并介绍 LoRA 等参数高效微调方法。

7月14日周五
7月5日周三
7月4日周二
7月3日周一
  1. Hugging Face Blog63

    Hugging Face 教程:用 WizardCoder-15B 在 Node.js 中搭建文本生成网页应用

    Hugging Face 发布教程,展示用 Node.js 搭建文本到网页应用的生成器,模型采用部署在 Inference Endpoints 上的 WizardCoder-15B,通过 Express.js 流式渲染生成 HTML。

    推荐理由:Hugging Face 官方教程给出从 Endpoint 部署到流式渲染的完整代码,读者可以照着复现一个文本生成网页应用的服务。

7月1日周六
6月29日周四
  1. Hugging Face Blog32

    加速视觉语言模型:BridgeTower 在 Habana Gaudi2 上的性能实测

    Hugging Face 在 Habana Gaudi2 上对 866M 参数的视觉语言模型 BridgeTower Large 进行微调加速。基于 Optimum Habana v1.7,配合硬件加速数据加载,Gaudi2 微调速度达到 A100 的 2.5 倍、H100 的 1.4 倍,吞吐最高达 768.7 samples/s。这些数据加载优化技术同样适用于其他受数据加载瓶颈约束的视觉模型。

6月26日周一
6月23日周五
6月20日周二
  1. Hugging Face Blog25

    Hugging Face 就 AI 问责政策向美国 NTIA 提交回应意见

    Hugging Face 于 6 月 12 日向美国商务部 NTIA 关于 AI 问责政策的征求意见提交了回应,强调文档与透明度规范在 AI 问责中的核心作用。该组织提出三点建议:问责机制应覆盖 ML 开发全流程、兼顾内部要求与外部访问透明度,并邀请开发者、研究社区、倡导组织、政策制定者和记者等广泛参与。其 BigScience 与 BigCode 项目已验证了这些方法的有效性。

6月19日周一
6月16日周五
6月15日周四
  1. Hugging Face Blog66

    Hugging Face 讲解如何在 iPhone、iPad 和 Mac 上用 Core ML 加速 Stable Diffusion

    Apple 在 WWDC'23 中更新 Core ML 与 coremltools 的压缩优化能力,配合开源仓库 ml-stable-diffusion,支持将 Stable Diffusion 量化为 8/6/4/2-bit palettization,推荐 6-bit 以在精度损失很小的前提下加快推理并节省内存。

    推荐理由:作者亲测 6-bit palettization 带来的生成速度提升,并给出完整转换命令和 Hub 模型,读者可按步骤迁移到自己微调的模型。

6月13日周二
6月12日周一
  1. Hugging Face Blog31

    面向 GLAM 行业的 Hugging Face Hub 使用指南

    Hugging Face 撰文介绍 GLAM(美术馆、图书馆、档案馆和博物馆)行业如何使用并贡献 Hugging Face Hub。Hub 目前托管超过 190,000 个模型、33,000 个数据集和 100,000 多个应用与演示,用户可按任务和语言筛选模型,并通过浏览器界面直接上传 CSV 数据集,或用 Spaces 托管 Gradio、Streamlit 及 Docker 应用。

6月7日周三
  1. Hugging Face Blog65

    Hugging Face Hub 支持用 DuckDB 以 SQL 查询 5 万多个数据集

    Hugging Face 宣布用户可以在 Hub 上的任何数据集上用 DuckDB 运行 SQL 查询。Dataset Viewer 会自动把所有公开数据集转换为 Parquet 文件,可通过 /parquet 端点获取文件 URL;借助 httpfs 扩展,DuckDB 能直接对远程 Parquet 文件执行 SQL,并支持查询被切分为 500MB 分块的大数据集。

    推荐理由:官方介绍了用 DuckDB 直接对 Hub 上 5 万多数据集跑 SQL 的方法,读者可以照着把 Parquet 端点和查询代码迁移到自己的数据探索流程。