跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

115条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 21–40 条 · 共 115 条
6月11日周四
6月9日周二
  1. Hugging Face Blog64

    Hugging Face 发布教程:将 GitHub CI 迁移到 HF Jobs

    Hugging Face 发布教程,教你把 GitHub Actions CI 任务改由 HF Jobs 执行,只需将 runs-on 改为 hf-jobs-* 标签,通过 dispatcher Space 和 GitHub App 桥接即可。

    推荐理由:Hugging Face 官方给出把 GitHub Actions CI 迁到 HF Jobs 的完整步骤,并用 Trackio 实测数据说明 CPU 提速约 30% 和低成本 GPU CI 的可行路径。

6月4日周四
  1. Hugging Face Blog66

    Hugging Face 重构 hf CLI,让编码 Agent 更高效地使用 Hub

    Hugging Face 重构官方 hf CLI,使其同时服务人类和 Claude Code、Codex、Cursor 等编码 Agent,hf v1.9.0 引入按环境变量自动检测的 agent 模式,输出 TSV、完整字段、无 ANSI、不截断,并提供 next-command 提示、--yes/--dry-run 等安全重试设计。

    推荐理由:官方实测数据显示 CLI 在多步 Hub 任务上可把 token 消耗降到手工 curl/SDK 的几分之一,方法与结论可迁移给 Agent 工具设计。

5月15日周五
4月24日周五
  1. Hugging Face Blog83

    DeepSeek 发布 V4:MoE 双检查点上线 Hub,主打百万 token 上下文的 Agent 能力

    DeepSeek 发布 V4,在 Hub 上开源 DeepSeek-V4-Pro(1.6T 总参数 / 49B 激活)和 DeepSeek-V4-Flash(284B 总参数 / 13B 激活)两个 instruct 及对应 base 检查点,均支持 1M token 上下文。

    推荐理由:文章拆解了 V4 为长上下文与 Agent 场景做的架构与后训练设计,读者可据此评估开源模型跑长任务的部署成本。

4月23日周四
  1. Hugging Face Blog63

    Hugging Face 讲解如何在 Chrome 扩展的 Manifest V3 中运行 Transformers.js

    Hugging Face 发布教程,指导开发者在 Manifest V3 约束下用 Transformers.js 在 Chrome 扩展中运行本地 AI,并复刻其 Gemma 4 Browser Assistant 架构。

    推荐理由:作者基于自家 Gemma 4 浏览器扩展拆解 MV3 下运行 Transformers.js 的架构决策,给出可直接迁移的运行时划分与消息契约设计。

4月1日周三
  1. Hugging Face Blog62

    TII 发布 Falcon Perception 0.6B 早融合感知模型及 0.3B Falcon OCR

    TII Falcon Vision 团队发布 Falcon Perception,一个 0.6B 参数的早融合 Transformer,用混合注意力掩码处理图像块与文本,做自然语言提示的开放词汇定位与分割,在 SA-Co 上达到 68.0 Macro-F1(SAM 3 为 62.3),但在 presence calibration 上落后(MCC 0.64 vs 0.82)。

    推荐理由:TII 自述用单一早融合 Transformer 做开放词汇感知,读者可以看到架构、数据配方和 SA-Co 与 PBench 上的具体对比依据。

  2. Hugging Face Blog66

    Gradio 推出 gradio.Server,支持任意自定义前端搭配 Gradio 后端

    Hugging Face 发布 gradio.Server,一个扩展自 FastAPI 的类,让开发者用 React、Svelte 或原生 HTML/JS 等任意前端框架,同时保留 Gradio 的排队、并发管理、SSE 流式、gradio_client 兼容和 Spaces 上的 ZeroGPU 支持。

    推荐理由:官方介绍了 gradio.Server 如何让任意自定义前端继续复用 Gradio 的排队、MCP 和 ZeroGPU 能力,并附完整代码示例。

3月31日周二
3月21日周六
3月10日周二
  1. Hugging Face Blog67

    Hugging Face Hub 推出 Storage Buckets 可变对象存储

    Hugging Face 在 Hub 上推出 Storage Buckets,一种不版本控制的可变、类 S3 对象存储,用于存放 checkpoints、处理后的数据、Agent traces 等中间产物。

    推荐理由:官方发布后明确解释了为什么中间产物不适合放 Git 仓库,并给出 CLI、Python、fsspec 的完整上手路径,便于迁移现有训练和数据流程。

2月19日周四
  1. Hugging Face Blog63

    IBM 与 UC Berkeley 用 IT-Bench 和 MAST 诊断企业级 Agent 的失败原因

    IBM Research 与 UC Berkeley 将 MAST(多智能体系统失败分类法)应用于 ITBench,标注了 310 条由 Gemini-3-Flash、Kimi-K2 和 GPT-OSS-120B 产生的 SRE 执行轨迹,把成功率之外的黑盒失败转成结构化失败签名。

    推荐理由:原文把基准的单一成功率拆解为结构化失败模式,并针对三类模型给出对应的工程修复方向。

2月13日周五
2月9日周一
  1. Hugging Face Blog71

    Transformers.js v4 登陆 NPM,新增 WebGPU 运行时与众多新模型

    Hugging Face 发布 Transformers.js v4,已可在 NPM 安装,核心变化是采用 C++ 重写的 WebGPU Runtime,同一套代码可运行于浏览器、Node、Bun 和 Deno。

    推荐理由:官方发布说明完整列出 WebGPU 运行时重写、新架构支持和构建性能数据,读者可评估在浏览器或服务端本地跑模型的可行性。

1月29日周四
  1. Hugging Face Blog66

    Hugging Face 开源 Daggr:用 Python 编排 Gradio 应用并可可视化检查每一步

    Hugging Face Gradio 团队发布开源 Python 库 Daggr(beta,当前版本 0.4.3),用几行代码把 Gradio Spaces、ML 模型和自定义函数连接成 AI 工作流,并自动生成可视化画布。

    推荐理由:Gradio 团队介绍用代码定义 AI 工作流并自动生成可视化画布,可单步检查和重跑,适合在重编排平台和脆弱脚本之外多一个实验选择。

1月9日周五
12月11日周四
  1. Hugging Face Blog63

    llama.cpp server 新增 router mode 支持多模型动态管理

    llama.cpp server 新增 router mode,无需重启即可动态加载、卸载和切换多个模型,补上类似 Ollama 的模型管理能力。该功能采用多进程架构,单个模型崩溃不影响其他模型;支持自动发现 GGUF 文件、按需加载、LRU 淘汰(默认 --models-max 4)、请求路由和 Web UI 切换。

    推荐理由:原文给出 router mode 的加载与切换机制和具体命令选项,读者可以据此评估本地多模型管理的新工作流。

12月1日周一
11月5日周三
  1. Google Research65

    Google 发布 Project Suncatcher 预印论文,探索基于卫星的可扩展太空 AI 基础设施

    Google 发布预印论文,提出 Project Suncatcher 计划,设想在晨昏太阳同步低地球轨道部署搭载 TPU、以自由空间光链路互联的太阳能卫星星座来扩展 AI 算力。

    推荐理由:Google 官方给出太空 AI 算力设想的关键数据与验证进展,读者可据此了解星载 TPU、星间光链路与发射成本的具体可行性分析。