跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 1–20 条 · 共 94 条
9月29日周二
9月24日周四
9月21日周一
  1. Hugging Face Blog71

    Hugging Face 发布 tokenizers v1 候选版,编码速度较 v0.23 提升至 3 到 30 倍

    Hugging Face 发布 tokenizers v1 的 release candidate,在 Apple M4 Max 单线程上编码速度比 v0.23 快 3 到 30 倍(低端 t5-base,高端 gpt2),八线程扩展达线性的 76%。

    推荐理由:Hugging Face 官方实测数据说明 tokenizers v1 为何能比 v0.23 快 3 到 30 倍,读者可以借此判断升级对训练和推理工作流的影响。

9月17日周四
  1. GitHub Blog · AI & ML69

    GitHub 用 Copilot 将 Copilot agent runtime 迁移到 80 余万行 Rust

    GitHub 用 Copilot agent 将 Copilot agent runtime 从 TypeScript 完整重写为 832,378 行生产 Rust,AI 编写了大部分代码,历时约 14.5 周、128 个 PR,采用原地逐组件替换而非一次性切换,性能有数量级提升。

    推荐理由:一手复盘给出原地迁移策略、缓存命中率与子会话协作细节,对规划大规模 agent 辅助重写有可借鉴方法。

9月10日周四
  1. Hugging Face Blog63

    Hugging Face 实践:用 Storage Bucket 和代理跨 HF Jobs 跑 Async GRPO + LoRA,无需 NCCL

    Hugging Face 博客介绍 TRL v1.14 的 AsyncGRPOTrainer 支持 LoRA 训练并仅向 vLLM 同步几 MB 的 adapter,训练与推理以独立 HF Jobs 运行,通过 Storage Bucket 挂载共享 adapter,前置代理负责加鉴权头、按 KV 前缀路由 rollout 并向所有副本广播 adapter 加载。

    推荐理由:原文给出了跨机 LoRA GRPO 的完整架构与五轮瓶颈调优数据,500 步从 3 小时 27 分压到 53 分钟,方法可直接复用。

9月1日周二
  1. Hugging Face Blog60

    Hugging Face 发布 @huggingface/kernels 及 207 个 WebGPU 内核

    Hugging Face WebAI 团队发布 @huggingface/kernels 库和 207 个 WebGPU 内核(Apache-2.0),每个内核以带版本号的独立仓库发布,包含 manifest、正确性测试、基准用例和 WGSL shader 模板。

    推荐理由:官方介绍了 207 个 WebGPU 内核的发布方式和与 ORT WebGPU 的实测对比,读者可以据此评估浏览器端推理优化的可用路径。

8月26日周三
8月25日周二
  1. Hugging Face Blog69

    Gradio 推出 gr.Workflow:把 AI 流水线变成可拖拽的节点图界面

    Hugging Face 在 Gradio 中推出 gr.Workflow,把 AI 应用的多步骤流水线描述为类型化节点图,并提供可拖拽画布,每个节点可运行、中间结果可见。

    推荐理由:原文来自官方,给出 gr.Workflow 的节点图机制、多个可复制的在线示例和 REST API 用法,读者可以直接上手复用这套搭建 AI 流水线的方法。

8月21日周五
  1. Hugging Face Blog66

    Liquid AI 发布 LFM2.5-DSpark 草稿模型,推理最高提速 3.2x

    Liquid AI 为 LFM2.5 系列三个模型(LFM2.5-1.2B-Instruct、LFM2.5-2.6B、LFM2.5-8B-A1B)发布 DSpark 草稿模型检查点,采用投机解码在不改变输出质量的前提下大幅加速解码。

    推荐理由:官方给出 DSpark 草稿模型的具体加速数据、质量等价原理和 llama.cpp 与 SGLang 的用法,端侧部署可直接迁移。

7月23日周四
  1. Hugging Face Blog66

    Diffusers 原生集成 Nunchaku Lite,支持 4-bit SVDQuant 扩散模型推理

    Hugging Face 宣布 Diffusers 原生支持 Nunchaku 的 SVDQuant 4-bit 推理,通过 Nunchaku Lite 集成路径直接用 from_pretrained() 加载量化 checkpoint,无需独立推理引擎或本地 CUDA 编译。

    推荐理由:Diffusers 原生集成 Nunchaku,W4A4 量化在降显存的同时也降低推理延迟,是可复现的部署方案变化。

7月16日周四
  1. Hugging Face Blog67

    模型路由看似简单实则不然:IBM Research 谈如何把路由当系统优化问题

    IBM Research 团队在博文中提出,模型路由不是分类问题而是系统优化问题。他们在 AppWorld Test Challenge 上用同一 CodeAct agent 跑 417 个任务。

    推荐理由:作者基于 417 个 AppWorld 任务的一手实测说明标价、缓存和基础设施如何左右路由成本,并把路由从分类问题转为优化问题,方法可迁移。

7月8日周三
7月7日周二
  1. Hugging Face Blog60

    Hugging Face 模型登陆 Microsoft Foundry Managed Compute

    Microsoft 在 Build 2026 上推出 Foundry Managed Compute,并在 Foundry 模型目录中上线 Hugging Face 精选模型集,数以千计的开源权重模型每周更新,可一键部署到 NVIDIA A100、H100 或 AMD MI300X 加速器。

    推荐理由:原文来自双方官方博客,详细说明了精选目录、curation 流程、运行时选择和部署模板,读者可以据此评估在 Foundry 上部署开源模型的实际路径。

  2. Hugging Face Blog61

    SkyPilot 与 Hugging Face 推出 store: hf,任意云端 GPU 可零 egress 读取 Hub 存储

    SkyPilot 与 Hugging Face 联合推出 store: hf,用一条 hf:// URL 即可将 Hugging Face Bucket 或任意 Hub 仓库挂载进 SkyPilot 任务,作业可调度到 20+ 云、Kubernetes 和本地集群。

    推荐理由:原文给出 hf:// 挂载、零 egress 读费与 Xet 去重的具体数字,读者可据此评估多云 GPU 任务的数据存储方案。

6月26日周五
  1. Hugging Face Blog66

    Hugging Face 教你一条命令在 HF Jobs 上运行 vLLM 服务器

    Hugging Face 发布教程,用一条 hf jobs run 命令即可在 HF 基础设施上启动私有 OpenAI 兼容的 vLLM 端点,无需配置服务器或 Kubernetes,按秒计费(a10g-large 为 $1.50/hour)。

    推荐理由:官方教程给出一条命令在 HF Jobs 上起 vLLM 服务的完整路径,含定价、权限、SSH 调试和接 coding agent 等可复用细节。

6月25日周四
6月23日周二
  1. Mistral AI68

    Mistral 发布 OCR 4,新增边界框、块分类与置信度分数,支持 170 种语言

    Mistral 发布 Mistral OCR 4,除文本外返回边界框、分类型块(标题、表格、公式、签名等)和逐页逐词置信度分数,支持 10 个语系下 170 种语言。

    推荐理由:官方公布了能力细节、定价和基准方法论,还主动列出自动评测的打分缺陷,读者可据此判断在自己场景中怎么用。

  2. Hugging Face Blog68

    Hugging Face 讲解如何用开源模型和 GitHub Actions 把 huggingface_hub 改为每周发布

    Hugging Face 在官方博客详解如何把 huggingface_hub 的发布节奏从每 4 到 6 周一次提升到每周一次,整条流程跑在一个 GitHub Actions 工作流里,使用开源工具、开源权重模型(当前为 Z.ai 的 GLM-5.2)和 HF Inference Providers,单次发布的模型成本约 $0.25。

    推荐理由:Hugging Face 官方复盘自身发布流水线,给出可复用的确定性校验加人工把关模式,其他开源维护者可以照搬适配。

6月22日周一
6月17日周三
  1. Hugging Face Blog64

    AWS Strands Robots 集成 LeRobot:从 Hugging Face Hub 数据集到实体机器人硬件

    AWS 开源 SDK Strands Robots 将 LeRobot 栈封装为 AgentTools,可用单个 Strands agent 完成录制演示数据、运行策略、部署到实体 SO-101 和多机器人协调。

    推荐理由:AWS 官方 walkthrough 给出从 Hub 数据集到实体 SO-101 机器人的完整可运行示例,仿真与硬件共享同一 LeRobotDataset 格式,可迁移到自己的机器人工作流。