如何用 Optimum Intel 在 Xeon 上加速 StarCoder：Q8/Q4 量化与投机解码
Hugging Face 联合 Intel 展示了在第四代 Xeon（借助 AMX 加速）上优化 StarCoder-15B 推理的方法，通过 SmoothQuant 实现 Q8 量化，TTFT 加速约 2.19x、TPOT 加速约 2.20x 且精度无损失；再结合 4bit 权重唯一量化和 assisted generation，实现超过 7x 的推理加速。
#部署/工程
#部署/工程
今日 8 条Hugging Face BlogAI 评分3737
Hugging Face Blog精选AI 评分6161 Hugging Face 与 Google Cloud 达成开源 AI 战略合作
Hugging Face 宣布与 Google Cloud 建立战略合作伙伴关系，围绕开放科学、开源和云硬件展开合作。
推荐理由：来自当事方官方公告，讲清了合作的四个方向和具体落地场景，读者可了解 Hugging Face 模型在 Google Cloud 上的可用路径。
Hugging Face BlogAI 评分5555 用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理
Hugging Face 与 ONNX Runtime 团队介绍用 Olive 优化的 SD Turbo 和 SDXL Turbo 模型，在 NVIDIA GPU 上用 ONNX Runtime CUDA 和 TensorRT 执行提供者加速推理。
Hugging Face Blog精选AI 评分6868 教程：用 Gradio 在 Hugging Face Spaces 上免费运行 ComfyUI 工作流
Hugging Face 发布教程，讲解如何把 ComfyUI 工作流转换成 Gradio 应用并部署到 Spaces 的 ZeroGPU 免费推理。
推荐理由：原文给出从导出 ComfyUI 工作流到在 Spaces ZeroGPU 免费部署的完整步骤，含模型映射和代码改动细节，可迁移到自己的工作流。
Hugging Face Blog精选AI 评分7272 Hugging Face 介绍如何用 Unsloth 将 LLM 微调提速至 2 倍
Hugging Face 博客介绍社区开发的轻量微调库 Unsloth，与 Hub、transformers、PEFT、TRL 完全兼容，可配合 SFTTrainer、DPOTrainer、PPOTrainer 使用。
推荐理由：原文给出 Unsloth 与 TRL 的完整用法和 59 组基准数据，微调提速与显存收益可直接迁移到自己的 QLoRA 工作流。
Hugging Face Blog精选AI 评分6666 Whisper 用 Speculative Decoding 实现 2 倍推理加速且输出完全一致
Hugging Face 博客演示如何用 speculative decoding 将 Whisper 语音转录推理时间降低约 2 倍，同时从数学上保证输出与原模型完全一致。
推荐理由：原文给出了完整的 speculative decoding 原理和实测代码，读者可以直接把它作为 Whisper 推理加速的替换方案。
Mistral AI精选AI 评分7878 Mistral AI 开放 La Plateforme 平台 Beta，提供三个文本生成端点和 Mistral-embed 嵌入端点
Mistral AI 开放 La Plateforme 平台 Beta，任何人今日起可注册使用其 API。
推荐理由：官方首发公告给出各端点的模型、MT-Bench 与 MTEB 分数和定价权衡，读者可据此评估选型。
Hugging Face Blog精选AI 评分8585 Mixtral 8x7B 发布，Hugging Face 完成全生态集成支持
Mistral 发布 Mixtral 8x7B，一个采用 Mixture of Experts 架构的开放模型，在多数基准上超越 Llama 2 70B 并达到或超过 GPT-3.5，MT-Bench 得分 8.30。
推荐理由：Mixtral 8x7B 以 MoE 架构达到开放模型新高度，本文同时给出生态内的推理、量化、微调与部署路径，方法可直接照做。
Hugging Face BlogAI 评分5353 Hugging Face 发布 Optimum-NVIDIA 推理库，一行代码解锁最高 28 倍吞吐
Hugging Face 发布 Optimum-NVIDIA 推理库，改动一行代码即可在 NVIDIA 平台上获得最高 28 倍吞吐提升和 1200 tokens/second，首 token 延迟最高快 3.3 倍。
Hugging Face BlogAI 评分5757 Hugging Face 与 AMD 合作实现 Transformers 在 AMD Instinct GPU 上的开箱即用加速
Hugging Face 与 AMD 宣布 Transformers 全部模型和任务无需改代码即可在 AMD Instinct GPU 上运行。
Hugging Face BlogAI 评分5050 Hugging Face 如何让 LoRA 推理提速 300%，告别冷启动
Hugging Face 在 Inference API 中实现 LoRA 适配器动态加载/卸载，保持基础模型常驻，使 Hub 上公开 Diffusion 模型的 LoRA 推理大幅提速。
Hugging Face Blog精选AI 评分8080 Hugging Face 发布 LCM LoRA，让 SDXL 4 步生成图像
Hugging Face 与 LCM 团队发布 LCM LoRA，通过训练少量 LoRA 适配层而非完整蒸馏模型，让 Stable Diffusion 和 SDXL 的推理步数从 25-50 步降到 4-8 步。
推荐理由：LCM LoRA 只训练少量适配层就能让任意 SDXL 微调模型 4 步出图，文中给出 diffusers 代码和多硬件基准，方法可直接复用。
Hugging Face BlogAI 评分4545 如何用 AWS Inferentia2 加速 Llama 2 文本生成
Hugging Face 宣布 🤗 optimum-neuron 已支持在 AWS Inferentia2 上部署 LLM 进行文本生成，并以 Llama 2 7B 和 13B 为例演示。
Hugging Face BlogAI 评分2929 Hugging Face Hub 推出 Storage Regions 存储区域功能
Hugging Face 在 Enterprise Hub 计划中推出 Storage Regions，让组织决定模型和数据集的存储位置，目前支持 US 和 EU 两个区域，Asia-Pacific 即将推出。
Hugging Face Blog精选AI 评分6666 Hugging Face 教你微调 StarCoder 打造个人编程助手 HugCoder
Hugging Face 发布教程，介绍如何用 Hugging Face GitHub 公共仓库代码微调 bigcode/starcoder (15.5B) 等模型，打造个人编程助手 HugCoder。
推荐理由：原文完整给出从数据采集到部署的微调流程，并附 QLoRA 与全量微调的成本和评测对比，方法可迁移到自有代码库。
Hugging Face BlogAI 评分5252 Hugging Face 数据集一行代码接入 Renumics Spotlight 交互式探索
Hugging Face 官方博客介绍如何用一行 spotlight.show(ds) 代码，通过 Renumics Spotlight 交互式可视化 datasets 库中的数据集，无需复制或预处理数据。
Hugging Face Blog精选AI 评分6666 Hugging Face 详解 SDXL 的简单推理优化方法
Hugging Face Diffusers 团队发文讲解如何优化 SDXL 的推理速度和内存占用，测试在 A100（40GB）上进行，每轮生成 4 张图取第 3 次结果。
推荐理由：官方在 A100 上实测了多种 SDXL 推理优化手段并附完整数据表，读者可以按自己的显存和延迟需求直接选用对应技巧。
Hugging Face BlogAI 评分4545 如何用 Hugging Face Inference Endpoints 部署嵌入模型
Hugging Face 展示如何通过 Inference Endpoints 与 Text Embeddings Inference（TEI）部署开源嵌入模型，用于 RAG 等检索增强场景。
Hugging Face Blog精选AI 评分6262 Gradio 发布 @gradio/lite，让 Gradio 应用在浏览器中无服务器运行
Hugging Face 推出 @gradio/lite，通过 Pyodide 让 Gradio 应用直接在浏览器中运行，无需服务器端基础设施。开发者在 HTML 中引入 JS/CSS 并在 <gradio-lite> 标签内写 Python 代码即可，支持 <gradio-file> 多文件和 <gradio-requirements> 通过 micropip 安装依赖。
推荐理由：原文给出完整的上手代码和依赖、加载时间等限制说明，读者可直接照做评估浏览器端部署是否适合自己。
Hugging Face BlogAI 评分4040 ONNX Runtime 为 Hugging Face 超过 130,000 个模型提速
Hugging Face 上超过 130,000 个支持 ONNX 的模型可借助 ONNX Runtime 加速，包括 BERT、GPT2、Whisper 等多种 LLM 和云模型。
Hugging Face Blog精选AI 评分7878 Hugging Face 为 tokenizer 引入 chat_template 属性解决聊天格式不匹配问题
Hugging Face 宣布 tokenizers 新增 chat_template 属性，用于保存模型训练时的对话格式，避免因格式不匹配导致难以察觉的性能严重下降。
推荐理由：原文指出对话格式不匹配会导致静默性能下降，并给出将 Jinja 聊天模板随 tokenizer 保存和使用的具体做法。
Hugging Face BlogAI 评分4141 使用 JAX 在 Cloud TPU v5e 上加速 Stable Diffusion XL 推理
Hugging Face 宣布 Diffusers 现已支持通过 JAX 在 Cloud TPU 上部署 Stable Diffusion XL（SDXL），实现高性能、低成本的推理。
Hugging Face BlogAI 评分4444 如何用 Inference API 部署 AI Comic Factory
Hugging Face 发布教程，介绍如何 fork 并配置 AI Comic Factory，通过 Inference API 部署到自己的私有 Space，避免长时间排队。
Hugging Face BlogAI 评分4949 Llama 2 在 Amazon SageMaker 上的基准测试
Hugging Face 发布了一项针对 Llama 2 在 Amazon SageMaker 上部署的基准测试，分析了 60 种不同部署配置。测试覆盖 7B、13B、70B 三种参数规模，在 g5 与 p4d 系列 EC2 实例上，以 1/5/10/20 并发请求，比较有无 GPTQ 4-bit 量化的延迟与吞吐。
Hugging Face BlogAI 评分5555 Hugging Face 推出面向 PRO 用户的 Inference for PROs 服务
Hugging Face 推出 Inference for PROs，为 PRO 订阅用户提供精选模型的高速推理 API 端点和更高的免费 Inference API 速率限制。
Hugging Face BlogAI 评分3030 Rocket Money 携手 Hugging Face：在生产环境中扩展波动性 ML 模型
个人理财应用 Rocket Money 用 BERT 系列模型替代维护成本高的 regex 系统，为 4000+ 类别的交易文本分类提供支持，其原有 regex 系统每月处理超 1 亿笔交易。在对比自建方案、AWS Sagemaker 和 Hugging Face Inference API 后，经三个月评估选择 Hugging Face 托管模型，一周内即承接部分流量并通过最坏情况负载测试。
Hugging Face Blog精选AI 评分6767 Hugging Face 详解 LLM 生产环境推理优化：量化、Flash Attention 与架构改进
Hugging Face 官方博客系统讲解 LLM 推理优化的三类技术：8-bit/4-bit 量化、Flash Attention 注意力算法，以及 RoPE、ALiBi、MQA、GQA 等架构改进。
推荐理由：Hugging Face 官方以实测代码系统讲解量化、Flash Attention 与模型架构三类 LLM 推理优化方法，可迁移到部署实践。
Hugging Face BlogAI 评分5454 使用 PyTorch FSDP 微调 Llama 2 70B 的实践指南
Hugging Face 团队发布教程，讲解如何用 PyTorch FSDP 在 2 节点共 16 张 A100 80GB 上全参数微调 meta-llama/Llama-2-70b-chat-hf，训练耗时约 13.5 小时。
Hugging Face BlogAI 评分5757 Hugging Face 详解 Transformers 原生支持的量化方案，实测对比 bitsandbytes 与 GPTQ
Hugging Face 官方博客概述 Transformers 原生支持的 bitsandbytes 与 auto-gptq 两种量化方案的优缺点，并附基准测试。
Hugging Face BlogAI 评分2727 SafeCoder 对比闭源代码助手
Hugging Face 推出企业级代码助手 SafeCoder，基于 BigCode 项目开源的 StarCoder 模型（15.5B 参数、80+ 编程语言、8192-token 上下文窗口），训练数据为 The Stack 中 1 trillion 代码 token。
Hugging Face Blog精选AI 评分7171 TII 发布 1800 亿参数开源模型 Falcon 180B，登陆 Hugging Face
TII 发布 Falcon 180B，为当时最大的开放语言模型，拥有 1800 亿参数，使用 RefinedWeb 数据集在 3.5 万亿 token 上完成预训练。
推荐理由：原文给出了参数量、训练规模、评测对比和完整部署硬件门槛，读者可以据此评估是否在自己的场景中采用这个开源模型。
Hugging Face BlogAI 评分2525 Fetch 借助 Amazon SageMaker 与 Hugging Face 将 ML 处理延迟降低 50%
消费奖励应用公司 Fetch 在 AWS 上用 Hugging Face 与 Amazon SageMaker 优化其 ML 流水线，12 个月内构建、训练并部署了 5 个以上模型，将最慢扫描的延迟降低 50%，文档理解模型准确率提升 200%。
Hugging Face Blog精选AI 评分6767 如何用 Diffusers 优化 AudioLDM 2 推理速度至 10 倍以上
Hugging Face 官方教程讲解如何在 🧨 Diffusers 中运行 AudioLDM 2 文生音频管线，并通过 Flash Attention、float16 半精度、torch.compile 编译 UNet、切换 DPMSolverMultistepScheduler 将 10 秒音频的生成时间从约 14 秒降到 1 秒以内，且音质几乎不降。
推荐理由：官方教程给出四种可复用的推理优化方法，把 10 秒音频的生成时间从约 14 秒压到 1 秒以内，可直接迁移到自己的管线。
Hugging Face BlogAI 评分3737 Hugging Face Hub 将停止 Git 密码认证，改用访问令牌或 SSH 密钥
Hugging Face 宣布自 2023 年 10 月 1 日起，通过 Git 操作 Hugging Face Hub 时不再支持密码认证，用户需改用个人访问令牌或 SSH 密钥。令牌具有唯一、可撤销、随机等安全优势。目前仍在使用密码的用户将收到邮件提醒，需在截止日期前完成切换，可通过 git remote set-url 命令更新仓库地址。
Hugging Face Blog精选AI 评分7474 Hugging Face 在 Transformers 中集成 AutoGPTQ，支持 GPTQ 量化大语言模型
Hugging Face 宣布将 AutoGPTQ 库集成进 Transformers，用户可用 GPTQ 算法以 8、4、3 或 2-bit 精度量化和运行模型，4-bit 量化精度损失可忽略，小 batch 下推理速度接近 fp16 基线。
推荐理由：官方宣布 AutoGPTQ 集成进 Transformers，读者可据此了解 4-bit 量化 LLM 的内存收益、用法与局限。
Hugging Face BlogAI 评分5252 Hugging Face 发布企业级代码助手方案 SafeCoder
Hugging Face 发布面向企业的代码助手解决方案 SafeCoder，支持客户在自有基础设施内微调并自托管 Code LLM，训练和推理过程中代码不离开客户 VPC。
Hugging Face BlogAI 评分3535 Hugging Face Hub 上架 AWS Marketplace：可用 AWS 账户付费
Hugging Face Hub 现已登陆 AWS Marketplace，用户可通过 AWS 账户直接为 Hugging Face 服务付费。订阅后，组织内所有成员使用 Inference Endpoints、Spaces Hardware Upgrades、AutoTrain 等服务的费用将自动出现在 AWS 账单中，价格与 Hugging Face 公开定价一致。
Hugging Face BlogAI 评分5656 Hugging Face 教程：用 Transformers 优化 Bark 语音合成模型
Hugging Face 博客发布 Bark 文本转语音模型的推理优化教程，基于 Transformers、Optimum 和 Accelerate 三种技术：BetterTransformer 提速 20% 到 30%，fp16 减少一半显存，CPU offload 让 bark-large 显存从 5GB 降到 2GB。
Hugging Face BlogAI 评分3737 如何用 BentoML 部署 Hugging Face 模型：DeepFloyd IF 实战
Hugging Face 与 BentoML 联合演示如何将开源文生图模型 DeepFloyd IF 部署到生产环境。DeepFloyd IF 直接在像素空间工作，由冻结文本编码器 T5-XXL-1.1 和三个级联像素扩散模块组成，可将 64x64 px 图像逐步放大至 1024x1024 px。
Hugging Face Blog精选AI 评分6565 Hugging Face 发布 Swift Transformers：在 Apple 设备上运行端侧 LLM
Hugging Face 发布 swift-transformers 等 alpha 工具，帮助 Swift 开发者在 Apple 设备上用 Core ML 运行 Llama 2 等语言模型。
推荐理由：官方一手发布了在 Apple 设备上跑 LLM 的 Swift 工具链，并给出 Core ML 转换、优化和已知坑的实操经验。