如何低成本跑完 10 亿级分类与嵌入任务
这篇 Hugging Face 博客给出每天 10 亿级分类或嵌入推理的成本优化框架，用 Inference Endpoints、Infinity 和 Grafana k6 对三种用例实测。
推荐理由：原文给出可复现的成本与延迟优化框架和实测数字，读者可按自己的任务估算大规模分类和嵌入推理开销。
部署工程
全部主题把模型跑起来的工程实践：推理优化、显存与成本、Serving 架构与基础设施选型。
最新精选
第 61–80 条 · 共 115 条Hugging Face Blog精选AI 评分6161
Mistral AI精选AI 评分6868 Mistral AI 发布全新 le Chat 助手，推出 Pro、Team 和 Enterprise 服务层级
Mistral AI 发布全新 le Chat，定位覆盖生活与工作的 AI 助手，现已上线 iOS、Android 和 chat.mistral.ai。
推荐理由：官方公告列出了 le Chat 的功能变化、移动端入口和三档服务定价，读者可以据此评估它在个人与工作场景中的可用性。
Mistral AI精选AI 评分6666 Mistral 发布 Mistral Small 3：24B 参数开源模型，性能对标 Llama 3.3 70B
Mistral 发布 Mistral Small 3，一个延迟优化的 24B 参数模型，以 Apache 2.0 许可开源预训练和指令微调权重。模型 MMLU 准确率超 81%，延迟 150 tokens/s，官方称性能与 Llama 3.3 70B instruct 相当且在相同硬件上快 3 倍以上。
推荐理由：24B 参数、Apache 2.0 开源、可在单卡 RTX 4090 本地运行，读者可据此评估低延迟场景下的替代方案。
Hugging Face Blog精选AI 评分6767 Hugging Face 在 Hub 推出 Inference Providers，集成 fal、Replicate、Sambanova、Together AI
Hugging Face 在 Hub 模型页上线四家 serverless Inference Providers：fal、Replicate、Sambanova、Together AI，并集成 JS 和 Python SDK。调用分自定义 key 直连和由 HF 路由两种模式，路由请求按提供商标准费率计费、无额外加价，PRO 用户每月获 $2 推理额度。
推荐理由：Hugging Face 官方宣布在 Hub 模型页集成四家 serverless 推理商，给出路由计费与 SDK 用法，读者可了解如何统一调用第三方推理。
Hugging Face Blog精选AI 评分6565 Hugging Face 盘点 Diffusers 中的开源视频生成模型现状
Hugging Face Diffusers 团队发文综述当前开源视频生成模型现状，覆盖 CogVideoX、Mochi-1、HunyuanVideo、LTX Video 等模型及其高资源需求、泛化与延迟等局限。
推荐理由：Diffusers 团队原文梳理了开源视频生成模型现状，并给出实测内存数据和一套可复用的推理与微调优化方法。
Hugging Face Blog精选AI 评分6969 Hugging Face 教程：可视化并理解 PyTorch 训练中的 GPU 内存
Hugging Face 发布教程，讲解如何用 torch.cuda.memory 快照工具可视化 PyTorch 训练各阶段的 GPU 内存占用。文章以 Qwen/Qwen2.5-1.5B 训练循环为例拆解参数、优化器状态、激活、梯度和优化器中间值的内存构成，并给出总内存估算公式与激活数量的线性启发式。
推荐理由：原文用 PyTorch 内存快照工具拆解训练各阶段的显存构成，并给出可复用的总内存估算公式和启发式，便于读者定位显存瓶颈。
Hugging Face Blog精选AI 评分6363 Hugging Face 博客详解如何用 NVIDIA LogitsProcessorZoo 控制大语言模型生成
Hugging Face 博客介绍 NVIDIA 开源的 LogitsProcessorZoo，一组与 Transformers 的 generate 方法兼容的模块化 logits 处理器，通过直接修改输出概率分布来控制生成。
推荐理由：原文给出四个 logits 处理器的参数、代码和实际输出对比，读者可以直接照着控制生成长度、引用、结尾短语和选择题格式。
Hugging Face Blog精选AI 评分6565 Intel Labs 与 Hugging Face 推出 Universal Assisted Generation，跨模型家族加速解码 1.5x-2.0x
Intel Labs 与 Hugging Face 推出 Universal Assisted Generation（UAG），通过双向 tokenizer 翻译让辅助生成不再要求目标模型与助手模型共享同一 tokenizer，可将任意 decoder 或 MoE 模型的推理加速 1.5x-2.0x 且几乎零开销。
推荐理由：原文解释了跨 tokenizer 助手模型的实现原理并给出多组加速数据，还提供 Transformers 4.46.0 的可用代码。
Mistral AI精选AI 评分6060 Mistral AI 发布 Ministral 3B 与 Ministral 8B 端侧模型
Mistral AI 在 Mistral 7B 发布一周年之际推出端侧模型 Ministral 3B 和 Ministral 8B，主打设备端与边缘场景，官方称两者在 sub-10B 级别的知识、常识、推理、function-calling 和效率上达到新水平。
推荐理由：官方公布了两个端侧模型的能力定位、上下文长度、API 定价与权重许可，读者可据此评估本地推理场景的选型。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 Gradio 5 稳定版
Hugging Face 宣布 Gradio 5 稳定版发布，目标是让开发者用几行 Python 构建可上生产的机器学习 Web 应用。
推荐理由：官方宣布 Gradio 5 稳定版，列出性能、UI、流式与安全等具体改动和升级命令，开发者可据此评估迁移与使用。
Hugging Face Blog精选AI 评分6464 Hugging Face 五个常被忽视的实用工具详解
Hugging Face 官方博客盘点 Hub 上五个常被忽视的工具：ZeroGPU（免费 A100 GPU，每工作负载 40GB vRAM）、多进程 Docker Space（用 supervisord）、Gradio API、Webhooks 和 Nomic Atlas 语义搜索。
推荐理由：作者用免费语义搜索项目实际串起 ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas 的用法，附可直接复用的代码示例。
Hugging Face Blog精选AI 评分6868 Hugging Face 收购 XetHub，将替换 Git LFS 作为 Hub 存储后端
Hugging Face 官方宣布收购总部位于西雅图的 XetHub，团队来自曾在 Apple 构建内部 ML 基础设施的 Yucheng Low、Ajit Banerjee 和 Rajat Arya。
推荐理由：收购方官方说明整合路径，给出了 Git LFS 换自研存储后对大文件更新方式的具体改变和当前 Hub 规模数据。
Hugging Face Blog精选AI 评分8888 Meta 发布 Llama 3.1（8B/70B/405B），支持 128K 上下文与多语言
Meta 发布 Llama 3.1 系列，在 Hugging Face Hub 上线 8B、70B、405B 三个规模共 8 个开放权重模型，上下文长度提升至 128K tokens，支持 8 种语言和工具调用。
推荐理由：官方发布说明覆盖了三个规模、内存需求和量化权重，读者可以据此选择适合自己硬件的部署与微调路径。
Hugging Face Blog精选AI 评分6363 如何在 Core ML 上用不到 4GB 内存运行 Mistral 7B
Hugging Face 发布教程，演示如何用 WWDC24 的新 Core ML 特性在 Mac 上复现 Mistral 7B 的端侧运行。
推荐理由：原文复现 WWDC24 的 Mistral 7B 端侧运行示例，讲解 MLTensor、状态缓存和 4-bit 量化等新特性与完整转换步骤。
Hugging Face Blog精选AI 评分6060 TGI 推出 Multi-LoRA serving，一次部署可服务多个微调模型
Hugging Face 在 TGI 中推出 Multi-LoRA serving，只部署一次基座模型 mistralai/Mistral-7B-v0.1，即可按请求动态选择 LoRA 适配器，一次部署相当于服务多个微调模型。
推荐理由：原文给出部署步骤、显存开销和成本对比数据，读者可以据此评估一次部署服务多个微调模型是否适合自己的场景。
Mistral AI精选AI 评分6262 Mistral 发布 Mamba 架构编码模型 Codestral Mamba
Mistral AI 发布 Mamba 架构的 Codestral Mamba，在 Albert Gu 和 Tri Dao 协助下训练，具备线性时间推理和理论无限序列建模能力，已测试 256k token 的上下文检索，参数量 7,285,403,648。
推荐理由：官方介绍了 Mamba 架构在线性推理和长序列上的特点、部署方式与许可证差异，读者可据此评估本地编码助手的可行性。
Hugging Face Blog精选AI 评分6161 Hugging Face 与 KerasHub 集成上线，可直接加载 Transformers 库 300K+ 模型
Hugging Face 宣布 Transformers 与 KerasHub 采用共享模型保存格式，KerasHub 现可直接加载 Hub 上 346,268 个 Transformers 库模型。
推荐理由：官方宣布 Transformers 与 KerasHub 共享模型保存格式，KerasHub 用户可直接加载 Hub 上 300K+ 模型并切换 TensorFlow、JAX 或 PyTorch 后端。
Hugging Face Blog精选AI 评分6161 Hugging Face 在 Inference Endpoints 和 Spaces 上开放 Google Cloud TPU
Hugging Face 宣布用户可在 Inference Endpoints 和 Spaces 上使用 Google Cloud TPU v5e 加速 AI 应用。
推荐理由：Hugging Face 官方宣布接入 Google TPU，给出了实例配置和价格，读者可据此评估推理部署的成本选项。
Mistral AI精选AI 评分6464 Mistral 在 la Plateforme 推出模型微调服务
Mistral 在 la Plateforme 推出模型定制能力，提供三条路径：开源微调 SDK mistral-finetune（基于 LoRA，可在自有基础设施微调全部开源模型）、平台无服务器微调服务（兼容 Mistral 7B 和 Mistral Small，后续数周将新增模型）以及面向特定客户、支持持续预训练的定制训练服务。
推荐理由：官方同时开放自托管微调 SDK、平台托管服务与定制训练三条路径，读者可据此对比选择适合自己的模型定制方式。
Hugging Face Blog精选AI 评分6262 Hugging Face 通报 Spaces 平台密钥未授权访问事件并启动整改
Hugging Face 通报其 Spaces 平台遭未授权访问，部分 Spaces 秘钥可能被读取，官方已撤销相关 HF token 并邮件通知受影响用户。官方建议用户刷新密钥或改用细粒度访问 token，已移除 org token、为 Spaces 秘钥部署 KMS，并计划在功能对齐后弃用经典读写 token，同时已报警并向数据保护机构报告。
推荐理由：官方通报了 Spaces 秘钥未授权访问事件、已撤销的 token 范围和 KMS 等整改措施，受影响用户可据此排查自身密钥。