跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

115条精选相关主题开源生态数据与训练端侧 AI

最新精选

第 41–60 条 · 共 115 条
10月27日周一
10月21日周二
10月13日周一
  1. OpenAI News68

    OpenAI 与 Broadcom 达成战略合作,将部署 10GW OpenAI 自研 AI 加速器

    OpenAI 与 Broadcom 宣布达成多年期合作,将部署 10 吉瓦 OpenAI 设计的 AI 加速器。双方将共同开发下一代系统和以太网方案,目标是到 2029 年建成可扩展、高能效的 AI 基础设施。

    推荐理由:官方宣布的合作明确了 10GW 规模和 2029 年时间线,读者可以据此了解 OpenAI 自研加速器布局的实际部署节奏。

10月6日周一
9月11日周四
  1. Hugging Face Blog73

    Hugging Face 详解 transformers 为支持 OpenAI GPT-OSS 所做的效率升级

    Hugging Face 发文介绍为支持 OpenAI GPT-OSS 对 transformers 库的多项升级,包括从 Hub 下载预编译内核、原生 MXFP4 量化、张量并行与专家并行、动态滑动窗口 KV 缓存、Continuous Batching 和更快的模型加载。

    推荐理由:Hugging Face 官方详解为支持 gpt-oss 对 transformers 做的各项升级,多数特性可复用到其他模型。

9月2日周二
  1. Hugging Face Blog64

    Hugging Face ZeroGPU Spaces 如何用 PyTorch 预编译提速图像视频生成

    Hugging Face 发文介绍如何在 ZeroGPU Spaces 中用 PyTorch ahead-of-time 编译优化生成式 demo,指出 torch.compile 与 ZeroGPU 短生命周期进程不兼容,需先导出再用 spaces.aoti_* API 编译加载。

    推荐理由:原文给出 ZeroGPU 上 AoT 编译的完整步骤和 FP8、动态形状等进阶技巧,读者可以直接迁移到自己的 Spaces demo。

8月7日周四
  1. OpenAI News74

    OpenAI 面向开发者发布 GPT-5

    OpenAI 在 API 平台推出 GPT-5,面向开发者提供高推理性能和新的控制选项。该模型在真实编码任务上取得同类领先的评测结果。

    推荐理由:OpenAI 官方宣布 GPT-5 上线 API,读者可以据此了解其在推理和编码任务上的定位以及面向开发者的新控制能力。

  2. OpenAI News82

    OpenAI 发布 GPT-5 系统卡,介绍统一模型路由机制

    OpenAI 发布 GPT-5 系统卡,说明统一模型路由系统如何在 gpt-5-main、gpt-5-thinking 和轻量版 gpt-5-thinking-nano 之间分配请求,以兼顾快速和智能的响应。各变体针对不同任务和开发者使用场景做了优化。

    推荐理由:官方系统卡说明 GPT-5 的统一路由机制,读者可以据此理解不同 gpt-5 变体如何按任务分配响应。

7月25日周五
  1. Hugging Face Blog67

    Hugging Face 详解 Parquet 内容定义分块(CDC)如何配合 Xet 存储层降低数据传输量

    Hugging Face 宣布 Parquet 内容定义分块(CDC)已在 PyArrow 和 Pandas 中可用,通过 use_content_defined_chunking=True 参数启用,可与其 Xet 存储层配合仅传输变化的数据块。

    推荐理由:官方用七类数据变更场景实测 Parquet CDC 与 Xet 的去重效果,读者可据此评估迁移到 CDC 写入对上传下载的实际收益。

7月23日周三
  1. Hugging Face Blog67

    Hugging Face 详解如何用 Diffusers 和 PEFT 加速 Flux LoRA 推理

    Hugging Face 发布教程,介绍结合 Flash Attention 3、torch.compile 和 FP8 量化的 Flux.1-Dev LoRA 推理优化配方,在 H100 上相对基线取得 2.23x 加速,并支持 LoRA 热切换而不触发重编译。

    推荐理由:原文给出可直接复用的 LoRA 推理优化配方和 H100、RTX 4090 两套实测延迟数据,并说明热切换避免重编译的限制。

7月22日周二
  1. OpenAI News62

    OpenAI 与 Oracle 合作新增 4.5 GW Stargate 数据中心容量

    Oracle 与 OpenAI 达成协议,将在美国新增开发 4.5 吉瓦的 Stargate 数据中心容量。OpenAI 称该投资将创造就业、加速美国再工业化,并推动其在 AI 领域的领导地位,是 Stargate 基础设施平台的一个重要里程碑。

    推荐理由:官方宣布 Stargate 与 Oracle 新增 4.5 GW 数据中心合作,读者可据此了解 OpenAI 算力扩张的规模与节奏。

7月15日周二
7月10日周四
6月12日周四
  1. Hugging Face Blog64

    Hugging Face Kernel Hub 五分钟入门教程

    Hugging Face 官方博客介绍 Kernel Hub,开发者可通过 kernels 库的 get_kernel 一行代码加载预编译的优化计算内核,自动匹配 Python、PyTorch 和 CUDA 版本。

    推荐理由:原文给出从加载到基准测试的完整可复现步骤,读者可据此评估把优化内核接入自己模型的实际收益。

5月28日周三
  1. Hugging Face Blog60

    Hugging Face 提出 Structured CodeAgent:用结构化生成提升代码智能体可靠性

    Hugging Face 发布研究,让 CodeAgent 以强制 JSON 结构同时生成 thoughts 和 code,在 GAIA、MATH、SimpleQA、Frames 等基准上比常规 CodeAgent 平均高出 2-7 个百分点。

    推荐理由:原文给出结构化输出结合 CodeAgent 的实测数据与适用边界,读者可据此判断自己的模型规模是否适合启用该方案。

5月22日周四
5月21日周三
  1. Hugging Face Blog62

    Hugging Face Diffusers 量化后端实战:以 Flux-dev 为例对比 BnB、torchao、Quanto、GGUF 与 FP8

    Hugging Face 发布 Diffusers 量化后端解读文章,以 black-forest-labs/FLUX.1-dev 为例实测 bitsandbytes、torchao、Quanto、GGUF 和 FP8 Layerwise Casting 五种方案。

    推荐理由:文章系统对比了 Diffusers 各量化后端在 Flux-dev 上的内存、速度与画质差异,并给出选型建议和可复现代码。

5月15日周四
5月7日周三
2月25日周二
  1. Hugging Face Blog62

    Hugging Face 发布 Python 实时通信库 FastRTC

    Hugging Face 发布 FastRTC,一个面向 Python 的实时通信库,用于简化实时音视频 AI 应用开发。库内自动处理语音检测与轮次切换,自带 WebRTC Gradio UI,支持 WebRTC 和 WebSocket,可将 Stream 挂载到任意 FastAPI 应用。

    推荐理由:官方发布 Python 实时通信库,内置语音检测、Gradio UI 和免费电话接入,作者还演示了接入 LLM 的完整语音对话代码。