跳到正文

#部署/工程

今日 8 条
11月5日周三
  1. Google Research65

    Google 发布 Project Suncatcher 预印论文,探索基于卫星的可扩展太空 AI 基础设施

    Google 发布预印论文,提出 Project Suncatcher 计划,设想在晨昏太阳同步低地球轨道部署搭载 TPU、以自由空间光链路互联的太阳能卫星星座来扩展 AI 算力。

    推荐理由:Google 官方给出太空 AI 算力设想的关键数据与验证进展,读者可据此了解星载 TPU、星间光链路与发射成本的具体可行性分析。

10月30日周四
10月29日周三
10月27日周一
10月24日周五
10月21日周二
10月16日周四
10月15日周三
10月13日周一
  1. OpenAI News68

    OpenAI 与 Broadcom 达成战略合作,将部署 10GW OpenAI 自研 AI 加速器

    OpenAI 与 Broadcom 宣布达成多年期合作,将部署 10 吉瓦 OpenAI 设计的 AI 加速器。双方将共同开发下一代系统和以太网方案,目标是到 2029 年建成可扩展、高能效的 AI 基础设施。

    推荐理由:官方宣布的合作明确了 10GW 规模和 2029 年时间线,读者可以据此了解 OpenAI 自研加速器布局的实际部署节奏。

10月6日周一
10月2日周四
9月29日周一
9月19日周五
9月18日周四
9月17日周三
9月11日周四
  1. Hugging Face Blog73

    Hugging Face 详解 transformers 为支持 OpenAI GPT-OSS 所做的效率升级

    Hugging Face 发文介绍为支持 OpenAI GPT-OSS 对 transformers 库的多项升级,包括从 Hub 下载预编译内核、原生 MXFP4 量化、张量并行与专家并行、动态滑动窗口 KV 缓存、Continuous Batching 和更快的模型加载。

    推荐理由:Hugging Face 官方详解为支持 gpt-oss 对 transformers 做的各项升级,多数特性可复用到其他模型。

9月2日周二
  1. Hugging Face Blog64

    Hugging Face ZeroGPU Spaces 如何用 PyTorch 预编译提速图像视频生成

    Hugging Face 发文介绍如何在 ZeroGPU Spaces 中用 PyTorch ahead-of-time 编译优化生成式 demo,指出 torch.compile 与 ZeroGPU 短生命周期进程不兼容,需先导出再用 spaces.aoti_* API 编译加载。

    推荐理由:原文给出 ZeroGPU 上 AoT 编译的完整步骤和 FP8、动态形状等进阶技巧,读者可以直接迁移到自己的 Spaces demo。

8月18日周一
8月13日周三
8月8日周五
8月7日周四
  1. OpenAI News74

    OpenAI 面向开发者发布 GPT-5

    OpenAI 在 API 平台推出 GPT-5,面向开发者提供高推理性能和新的控制选项。该模型在真实编码任务上取得同类领先的评测结果。

    推荐理由:OpenAI 官方宣布 GPT-5 上线 API,读者可以据此了解其在推理和编码任务上的定位以及面向开发者的新控制能力。

  2. OpenAI News82

    OpenAI 发布 GPT-5 系统卡,介绍统一模型路由机制

    OpenAI 发布 GPT-5 系统卡,说明统一模型路由系统如何在 gpt-5-main、gpt-5-thinking 和轻量版 gpt-5-thinking-nano 之间分配请求,以兼顾快速和智能的响应。各变体针对不同任务和开发者使用场景做了优化。

    推荐理由:官方系统卡说明 GPT-5 的统一路由机制,读者可以据此理解不同 gpt-5 变体如何按任务分配响应。

7月30日周三
7月25日周五
  1. Hugging Face Blog67

    Hugging Face 详解 Parquet 内容定义分块(CDC)如何配合 Xet 存储层降低数据传输量

    Hugging Face 宣布 Parquet 内容定义分块(CDC)已在 PyArrow 和 Pandas 中可用,通过 use_content_defined_chunking=True 参数启用,可与其 Xet 存储层配合仅传输变化的数据块。

    推荐理由:官方用七类数据变更场景实测 Parquet CDC 与 Xet 的去重效果,读者可据此评估迁移到 CDC 写入对上传下载的实际收益。

7月23日周三
  1. Hugging Face Blog67

    Hugging Face 详解如何用 Diffusers 和 PEFT 加速 Flux LoRA 推理

    Hugging Face 发布教程,介绍结合 Flash Attention 3、torch.compile 和 FP8 量化的 Flux.1-Dev LoRA 推理优化配方,在 H100 上相对基线取得 2.23x 加速,并支持 LoRA 热切换而不触发重编译。

    推荐理由:原文给出可直接复用的 LoRA 推理优化配方和 H100、RTX 4090 两套实测延迟数据,并说明热切换避免重编译的限制。

7月22日周二
  1. OpenAI News62

    OpenAI 与 Oracle 合作新增 4.5 GW Stargate 数据中心容量

    Oracle 与 OpenAI 达成协议,将在美国新增开发 4.5 吉瓦的 Stargate 数据中心容量。OpenAI 称该投资将创造就业、加速美国再工业化,并推动其在 AI 领域的领导地位,是 Stargate 基础设施平台的一个重要里程碑。

    推荐理由:官方宣布 Stargate 与 Oracle 新增 4.5 GW 数据中心合作,读者可据此了解 OpenAI 算力扩张的规模与节奏。

7月15日周二
7月10日周四
  1. Hugging Face Blog50

    Hugging Face 详解机器人异步推理:将动作预测与执行解耦

    Hugging Face 提出机器人异步推理方案,将动作预测与执行解耦:PolicyServer 负责推理,RobotClient 维护动作队列并执行,两者通过 gRPC 通信,比同类 REST API 快约 5 倍。该方案已在 SmolVLA 中引入,任务完成时间提速约 2 倍,成功率相当,使机器人不再等待推理,支持中途重规划和更快的控制循环。

7月9日周三
7月8日周二
6月28日周六
6月23日周一