OpenAI 发布 Stargate UAE，Stargate 首次国际部署
OpenAI 推出 Stargate UAE，这是其 AI 基础设施平台 Stargate 的首次国际部署。
推荐理由：官方宣布 Stargate 首次落地海外，读者可从中了解 OpenAI 基础设施出海的动向。
#部署/工程
#部署/工程
今日 4 条OpenAI News精选AI 评分6565
Hugging Face Blog精选AI 评分6262 Hugging Face Diffusers 量化后端实战：以 Flux-dev 为例对比 BnB、torchao、Quanto、GGUF 与 FP8
Hugging Face 发布 Diffusers 量化后端解读文章，以 black-forest-labs/FLUX.1-dev 为例实测 bitsandbytes、torchao、Quanto、GGUF 和 FP8 Layerwise Casting 五种方案。
推荐理由：文章系统对比了 Diffusers 各量化后端在 Flux-dev 上的内存、速度与画质差异，并给出选型建议和可复现代码。
Hugging Face Blog精选AI 评分6464 Hugging Face：Transformers 库将统一模型定义标准
Hugging Face 宣布 Transformers 将成为跨框架的模型定义标准，现支持 300+ 架构，平均每周新增约 3 个，并为 Llama、Qwen、GLM 等热门架构提供 day-0 支持。
推荐理由：Hugging Face 官方说明 Transformers 转型为跨框架模型定义标准，读者可以据此判断训练与推理工具链如何围绕它互通。
Hugging Face BlogAI 评分5252 Hugging Face Inference Endpoints 推出基于 vLLM 的 Whisper 高速部署，RTFx 提升近 8x
Hugging Face 在 Inference Endpoints 上推出新的 OpenAI Whisper 部署选项，推理由 vLLM 驱动，Whisper Large V3 的 RTFx 较此前提升近 8x 且转写质量无损失。
OpenAI NewsAI 评分2828 OpenAI 推出亚洲数据驻留服务
OpenAI 面向亚洲客户推出数据驻留功能，扩展其企业级数据隐私、安全与合规项目，支持全球客户。
Mistral AIAI 评分5252 Mistral 发布 Le Chat Enterprise 企业级 AI 助手
Mistral 发布 Le Chat Enterprise，由新模型 Mistral Medium 3 驱动，针对工具碎片化、知识集成不安全、模型僵化和 ROI 慢等企业痛点提供统一平台。
Mistral AI精选AI 评分6565 Mistral 发布 Mistral Medium 3，性能达 Claude Sonnet 3.7 九成而成本更低
Mistral AI 发布 Mistral Medium 3，在多项基准上达到或超过 Claude Sonnet 3.7 的 90% 表现，定价为 $0.4 输入 / $2 输出每 M token，并称超越 Llama 4 Maverick 与 Cohere Command A。
推荐理由：官方给出与 Claude Sonnet 3.7 对比的基准成绩、定价和部署选项，读者可据此评估企业落地的性价比。
Hugging Face BlogAI 评分5050 Intel 发布 AutoRound：面向 LLM 与 VLM 的低比特量化工具
Intel 推出 AutoRound，一种 weight-only 后训练量化方法，通过符号梯度下降联合优化权重取整和截断范围，支持 INT2 至 INT8 低比特量化。
Hugging Face BlogAI 评分5353 TNG 解析并发请求下的 LLM Prefill 与 Decode 性能优化
TNG 在 Hugging Face 博客发布 LLM 性能系列第二篇，讲解 prefill 与 decode 两个阶段对延迟、吞吐和 GPU 利用率的影响，并比较 static batching、continuous batching 和 prefill-first 等并发策略。
Hugging Face BlogAI 评分5353 Hugging Face 详解 Gradio 不只是 UI 库的 17 个理由
Hugging Face 官方博客发文《17 Reasons Why Gradio Isn't Just Another UI Library》，称 Gradio 不只是 Python UI 库，而是可通过 UI 和 API 与机器学习模型交互的框架。
Hugging Face BlogAI 评分5656 Hugging Face 与 Cloudflare 合作，为 FastRTC 提供全球 TURN 网络
Cloudflare 与 Hugging Face 达成合作，FastRTC 开发者只需 Hugging Face token 即可使用企业级 WebRTC 基础设施。持有有效 token 的开发者每月可免费传输 10GB 数据，无需信用卡；集成从 FastRTC 0.0.20 起可用，Cloudflare 的 TURN 服务器网络覆盖全球 335 个以上地点。
Hugging Face BlogAI 评分5555 Gradio 月活开发者突破 100 万，团队复盘五年增长经验
Hugging Face 团队宣布 Gradio 每月有超过 100 万开发者使用，并复盘五年增长经验。核心做法包括以 Gradio Blocks 等低层原语代替高层抽象（gr.Blocks 占 80% 用量）、用 share links 一行代码实现应用传播、聚焦机器学习 Web 应用这一细分场景、不设路线图只做快速迭代，以及让每个应用同时生成 API 端点以便本地部署或程序化调用。
Hugging Face BlogAI 评分4343 高效请求排队：优化 LLM 推理性能
TNG Technology Consulting 分享自托管 LLM 服务时的请求排队优化经验，指出单个"重度用户"大量请求会通过 vLLM 等推理引擎的 FIFO 队列阻塞其他用户。
Hugging Face BlogAI 评分3434 Hugging Face 如何为 AI 基础设施扩展密钥管理
Hugging Face 在从 AWS 迁向多云（Azure、GCP）后，选择 Infisical 替代 HashiCorp Vault 集中管理 secrets。
Hugging Face BlogAI 评分2828 TGI 原生集成 Intel Gaudi，加速 LLM 推理
Hugging Face 宣布将 Intel Gaudi 硬件支持直接合入 Text Generation Inference（TGI）主代码库（PR #3091），取代此前维护的独立 fork，基于 TGI 多后端架构支持 Gaudi1/2/3 全系列硬件。
Hugging Face BlogAI 评分4141 Gradio 发布全新 gr.Dataframe 组件更新
Hugging Face 的 Gradio 更新了 gr.Dataframe 组件，过去 6 周关闭了 70 多个相关 issue。新功能包括多单元格选择、行号与 pinned_columns 列固定、复制与全屏按钮、static_columns 静态列，以及 show_search 参数提供的搜索和过滤功能，还改进了键盘导航等无障碍体验。
Hugging Face BlogAI 评分2121 Hugging Face Inference Endpoints 推出全新实时分析功能
Hugging Face 为 Inference Endpoints 更新了分析仪表盘，提供实时指标，可即时查看请求延迟、响应时间和错误率，并重构后端加快高流量端点的数据加载。此外新增自定义时间范围与自动刷新功能，以及 Replica 生命周期视图，可跟踪副本从初始化到终止的每个状态变化。
Hugging Face BlogAI 评分5858 Hugging Face Hub 首批仓库迁移至 Xet 存储
Hugging Face 已将首批 Model 和 Dataset 仓库从 LFS 迁移到 Xet 存储，共 4.5 TB，约占 Hub 下载流量的 6%。Xet 采用内容定义分块（约 64KB chunk）做字节级去重，只传输改动部分；迁移后团队修复了 CAS 下载开销问题（将 GET 延迟降低约 35%）和 Pod 负载不均衡问题。
Hugging Face BlogAI 评分4848 Hugging Face 与 JFrog 合作提升 AI 模型安全扫描透明度
Hugging Face 宣布与 JFrog 合作，将 JFrog 的扫描器集成到 Hugging Face Hub，以提升模型安全检测。与仅做模式匹配的 picklescan 不同，JFrog 会解析并分析模型权重中的代码，降低误报，并可检出 pickle 反序列化和 Keras Lambda 层等任意代码执行漏洞。所有公开模型仓库在推送后自动扫描，目前已扫描数亿个文件。
Hugging Face BlogAI 评分4545 用 Arize Phoenix 追踪与评估你的 Agent
Hugging Face 博客讲解如何用 smolagents 构建一个配备 DuckDuckGoSearchTool 和 VisitWebpageTool 的 CodeAgent，并通过 Arize Phoenix 结合 OpenTelemetry + OpenInference 实现对 Agent 每一步调用的实时追踪与调试。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Python 实时通信库 FastRTC
Hugging Face 发布 FastRTC，一个面向 Python 的实时通信库，用于简化实时音视频 AI 应用开发。库内自动处理语音检测与轮次切换，自带 WebRTC Gradio UI，支持 WebRTC 和 WebSocket，可将 Stream 挂载到任意 FastAPI 应用。
推荐理由：官方发布 Python 实时通信库，内置语音检测、Gradio UI 和免费电话接入，作者还演示了接入 LLM 的完整语音对话代码。
Hugging Face BlogAI 评分5555 Diffusers 推出 Remote VAE 实验功能，把 VAE 解码委托给 Inference Endpoints
Diffusers 团队推出实验性 Remote VAE 功能，通过 huggingface-inference-toolkit 自定义 handler 将 VAE 解码委托给远程端点，以缓解高分辨率图像和视频生成时消费级 GPU 显存不足、offload 延迟和 tiling 画质损失问题。
Hugging Face BlogAI 评分5050 Hugging Face 新增三家 Serverless 推理提供商：Hyperbolic、Nebius AI Studio 和 Novita
Hugging Face Hub 新增 Hyperbolic、Nebius AI Studio 和 Novita 三家 serverless 推理提供商，支持 DeepSeek-R1、FLUX.1 等模型，并集成到 Python 和 JS 客户端 SDK。
Hugging Face BlogAI 评分4141 Fireworks.ai 正式成为 Hugging Face Hub 推理提供商
Fireworks.ai 现已成为 Hugging Face Hub 支持的推理提供商，可在模型页面及 HF 生态中提供高速 serverless 推理。
Hugging Face Blog精选AI 评分6161 如何低成本跑完 10 亿级分类与嵌入任务
这篇 Hugging Face 博客给出每天 10 亿级分类或嵌入推理的成本优化框架，用 Inference Endpoints、Infinity 和 Grafana k6 对三种用例实测。
推荐理由：原文给出可复现的成本与延迟优化框架和实测数字，读者可按自己的任务估算大规模分类和嵌入推理开销。
Hugging Face BlogAI 评分5252 Hugging Face Hub 从 Chunks 到 Blocks：用内容定义分块加速上传下载
Hugging Face Xet 团队开源 xet-core 和 hf_xet，将内容定义分块（CDC）引入 Hub，在部分场景将上传下载速度提升 2-3x。
Mistral AI精选AI 评分6868 Mistral AI 发布全新 le Chat 助手，推出 Pro、Team 和 Enterprise 服务层级
Mistral AI 发布全新 le Chat，定位覆盖生活与工作的 AI 助手，现已上线 iOS、Android 和 chat.mistral.ai。
推荐理由：官方公告列出了 le Chat 的功能变化、移动端入口和三档服务定价，读者可以据此评估它在个人与工作场景中的可用性。
Mistral AI精选AI 评分6666 Mistral 发布 Mistral Small 3：24B 参数开源模型，性能对标 Llama 3.3 70B
Mistral 发布 Mistral Small 3，一个延迟优化的 24B 参数模型，以 Apache 2.0 许可开源预训练和指令微调权重。模型 MMLU 准确率超 81%，延迟 150 tokens/s，官方称性能与 Llama 3.3 70B instruct 相当且在相同硬件上快 3 倍以上。
推荐理由：24B 参数、Apache 2.0 开源、可在单卡 RTX 4090 本地运行，读者可据此评估低延迟场景下的替代方案。
Hugging Face BlogAI 评分5757 如何在 AWS 上部署和微调 DeepSeek R1 系列模型（Hugging Face 官方指南）
Hugging Face 与 AWS 合作发布指南，介绍如何用 Hugging Face Inference Endpoints、Amazon Bedrock Marketplace。
Hugging Face Blog精选AI 评分6767 Hugging Face 在 Hub 推出 Inference Providers，集成 fal、Replicate、Sambanova、Together AI
Hugging Face 在 Hub 模型页上线四家 serverless Inference Providers：fal、Replicate、Sambanova、Together AI，并集成 JS 和 Python SDK。调用分自定义 key 直连和由 HF 路由两种模式，路由请求按提供商标准费率计费、无额外加价，PRO 用户每月获 $2 推理额度。
推荐理由：Hugging Face 官方宣布在 Hub 模型页集成四家 serverless 推理商，给出路由计费与 SDK 用法，读者可了解如何统一调用第三方推理。
Hugging Face Blog精选AI 评分6565 Hugging Face 盘点 Diffusers 中的开源视频生成模型现状
Hugging Face Diffusers 团队发文综述当前开源视频生成模型现状，覆盖 CogVideoX、Mochi-1、HunyuanVideo、LTX Video 等模型及其高资源需求、泛化与延迟等局限。
推荐理由：Diffusers 团队原文梳理了开源视频生成模型现状，并给出实测内存数据和一套可复用的推理与微调优化方法。
Hugging Face BlogAI 评分5858 NVIDIA KVPress 教程：用 KV Cache 压缩掌握 LLM 长上下文
Hugging Face 与 NVIDIA 发布 KVPress 教程，介绍如何通过压缩 KV Cache 实现省内存的长上下文 LLM 推理。
Hugging Face BlogAI 评分3434 Hugging Face 与 FriendliAI 合作，为 Hub 上的模型部署提速
Hugging Face 与 FriendliAI 达成合作，将 FriendliAI Endpoints 集成到 Hugging Face Hub 的“Deploy this model”按钮中，实现模型一键部署。
OpenAI NewsAI 评分5757 OpenAI 为 Stargate 基础设施征集产业链合作伙伴
OpenAI 与战略合作伙伴宣布共建 AGI 基础设施的共同愿景，公开征集数据中心基础设施产业链上的合作企业，范围覆盖电力、土地、建设和设备等环节。相关企业可通过官方表单与其建立联系。
Hugging Face BlogAI 评分5050 Hugging Face Text Generation Inference 推出多后端架构，将支持 TRT-LLM、vLLM、llama.cpp
Hugging Face 为 Text Generation Inference（TGI）引入 TGI Backends 多后端架构，通过新的 Rust Backend trait 让 TGI 作为统一前端接入不同推理引擎。
Hugging Face Blog精选AI 评分6969 Hugging Face 教程：可视化并理解 PyTorch 训练中的 GPU 内存
Hugging Face 发布教程，讲解如何用 torch.cuda.memory 快照工具可视化 PyTorch 训练各阶段的 GPU 内存占用。文章以 Qwen/Qwen2.5-1.5B 训练循环为例拆解参数、优化器状态、激活、梯度和优化器中间值的内存构成，并给出总内存估算公式与激活数量的线性启发式。
推荐理由：原文用 PyTorch 内存快照工具拆解训练各阶段的显存构成，并给出可复用的总内存估算公式和启发式，便于读者定位显存瓶颈。
Hugging Face Blog精选AI 评分6363 Hugging Face 博客详解如何用 NVIDIA LogitsProcessorZoo 控制大语言模型生成
Hugging Face 博客介绍 NVIDIA 开源的 LogitsProcessorZoo，一组与 Transformers 的 generate 方法兼容的模块化 logits 处理器，通过直接修改输出概率分布来控制生成。
推荐理由：原文给出四个 logits 处理器的参数、代码和实际输出对比，读者可以直接照着控制生成长度、引用、结尾短语和选择题格式。
Hugging Face BlogAI 评分4343 Hugging Face 在 GCP 第五代 Xeon 上实测语言模型性能：C4 对比 N2
Hugging Face 在 Google Cloud 两款 Xeon 实例上评测了 Agentic AI 的文本嵌入与文本生成两类负载。
Hugging Face BlogAI 评分4545 Hugging Face 开源模型上线 Amazon Bedrock Marketplace
Hugging Face 的热门开源模型现已可通过 Amazon Bedrock Marketplace 部署，共提供 83 个开源模型。
Hugging Face BlogAI 评分5050 LLM 修复自己错误的能力如何？用 Keras 和 TPU 做的 chatbot arena 实验
Hugging Face 博客作者搭建了一个 Keras chatbot arena，用 Gradio、Spaces、JAX 和 TPU 测试 LLM 在对话中被指出错误后能否自行修复。