Whisper 用 Speculative Decoding 实现 2 倍推理加速且输出完全一致
Hugging Face 博客演示如何用 speculative decoding 将 Whisper 语音转录推理时间降低约 2 倍，同时从数学上保证输出与原模型完全一致。
推荐理由：原文给出了完整的 speculative decoding 原理和实测代码，读者可以直接把它作为 Whisper 推理加速的替换方案。
#Hugging Face
#Hugging Face
今日 0 条Hugging Face Blog精选AI 评分6666
Hugging Face BlogAI 评分4343 Hugging Face 回顾 2023：开源 LLM 之年
Hugging Face 发布 2023 年开源大语言模型年度回顾，指出开源模型可复现研究、便于社区参与和审查模型偏差，并通过复用 checkpoint 降低碳排放。
Hugging Face Blog精选AI 评分6666 Hugging Face 深入解读 Mixture of Experts（MoE）的原理、训练与推理取舍
Hugging Face 发布长文系统讲解 MoE（专家混合）架构，以 Mixtral 8x7B 的走红为背景，覆盖稀疏层、路由、负载均衡、Switch Transformers 等核心内容。文章指出 MoE 相同参数量下推理更快、预训练更省算力，但需加载全部参数（Mixtral 8x7B 需按 47B 稠密模型准备显存），且微调更易过拟合，指令微调等新方向有望缓解这一短板。
推荐理由：这篇解读把 MoE 的结构、路由、负载均衡和微调取舍讲成一条完整脉络，读完能自己判断何时该选稀疏 MoE 而非稠密模型。
Hugging Face Blog精选AI 评分8585 Mixtral 8x7B 发布，Hugging Face 完成全生态集成支持
Mistral 发布 Mixtral 8x7B，一个采用 Mixture of Experts 架构的开放模型，在多数基准上超越 Llama 2 70B 并达到或超过 GPT-3.5，MT-Bench 得分 8.30。
推荐理由：Mixtral 8x7B 以 MoE 架构达到开放模型新高度，本文同时给出生态内的推理、量化、微调与部署路径，方法可直接照做。
Hugging Face BlogAI 评分5555 Intel Labs 与 Hugging Face 发布 SetFitABSA：用 SetFit 做少样本方面级情感分析
Intel Labs 与 Hugging Face 推出 SetFitABSA，一个无需提示词的少样本方面级情感分析（ABSA）框架。方法分三步：spaCy 抽取候选方面、SetFit 二分类筛选方面、第二个 SetFit 模型为每个方面标注情感极性；训练数据只需简单的 text/span/label/ordinal 表格格式。
Hugging Face BlogAI 评分5353 Hugging Face 发布 Optimum-NVIDIA 推理库，一行代码解锁最高 28 倍吞吐
Hugging Face 发布 Optimum-NVIDIA 推理库，改动一行代码即可在 NVIDIA 平台上获得最高 28 倍吞吐提升和 1200 tokens/second，首 token 延迟最高快 3.3 倍。
Hugging Face BlogAI 评分5757 Hugging Face 与 AMD 合作实现 Transformers 在 AMD Instinct GPU 上的开箱即用加速
Hugging Face 与 AMD 宣布 Transformers 全部模型和任务无需改代码即可在 AMD Instinct GPU 上运行。
Hugging Face BlogAI 评分5050 Hugging Face 如何让 LoRA 推理提速 300%，告别冷启动
Hugging Face 在 Inference API 中实现 LoRA 适配器动态加载/卸载，保持基础模型常驻，使 Hub 上公开 Diffusion 模型的 LoRA 推理大幅提速。
Hugging Face BlogAI 评分5454 Hugging Face 排查 Open LLM Leaderboard 中 DROP 评测分数异常并暂时移除该基准
Hugging Face 宣布从 Open LLM Leaderboard 中移除 DROP 基准，原因是多数模型 f1 分数异常低于 10。排查发现归一化步骤会漏掉后接非空格空白字符的数字，且以句号作为生成结束符会截断浮点答案并拉低高质量模型分数；按换行符重切分后分数与整体表现相关性明显改善。团队在与 EleutherAI 讨论后决定待新版本评测开发完成前先移除 DROP，并邀请社区反馈。
Hugging Face Blog精选AI 评分8080 Hugging Face 发布 LCM LoRA，让 SDXL 4 步生成图像
Hugging Face 与 LCM 团队发布 LCM LoRA，通过训练少量 LoRA 适配层而非完整蒸馏模型，让 Stable Diffusion 和 SDXL 的推理步数从 25-50 步降到 4-8 步。
推荐理由：LCM LoRA 只训练少量适配层就能让任意 SDXL 微调模型 4 步出图，文中给出 diffusers 代码和多硬件基准，方法可直接复用。
Hugging Face BlogAI 评分5858 Hugging Face 实测 LoRA 微调 RoBERTa、Llama 2 与 Mistral 7B 做灾难推文分类
Hugging Face 博客用 LoRA 在灾难推文二分类任务上对比 RoBERTa-large、Llama-2-7b 和 Mistral 7B，均在单张 48GB A6000 上微调。
Hugging Face BlogAI 评分3939 Explosion 推出 Prodigy-HF：直接集成 Hugging Face
Explosion 上周推出 Prodigy-HF 插件，将 Prodigy 标注工具直接集成 Hugging Face 生态。
Hugging Face BlogAI 评分4545 如何用 AWS Inferentia2 加速 Llama 2 文本生成
Hugging Face 宣布 🤗 optimum-neuron 已支持在 AWS Inferentia2 上部署 LLM 进行文本生成，并以 Llama 2 7B 和 13B 为例演示。
Hugging Face BlogAI 评分2929 Hugging Face Hub 推出 Storage Regions 存储区域功能
Hugging Face 在 Enterprise Hub 计划中推出 Storage Regions，让组织决定模型和数据集的存储位置，目前支持 US 和 EU 两个区域，Asia-Pacific 即将推出。
Hugging Face Blog精选AI 评分6666 Hugging Face 教你微调 StarCoder 打造个人编程助手 HugCoder
Hugging Face 发布教程，介绍如何用 Hugging Face GitHub 公共仓库代码微调 bigcode/starcoder (15.5B) 等模型，打造个人编程助手 HugCoder。
推荐理由：原文完整给出从数据采集到部署的微调流程，并附 QLoRA 与全量微调的成本和评测对比，方法可迁移到自有代码库。
Hugging Face BlogAI 评分5252 Hugging Face 数据集一行代码接入 Renumics Spotlight 交互式探索
Hugging Face 官方博客介绍如何用一行 spotlight.show(ds) 代码，通过 Renumics Spotlight 交互式可视化 datasets 库中的数据集，无需复制或预处理数据。
Hugging Face BlogAI 评分5656 Hugging Face 复现 OpenAI RLHF 代码库并梳理 PPO 的 N 个实现细节
Hugging Face 发布技术博客，复现 OpenAI 2019 年 RLHF 代码库 openai/lm-human-preferences，在情感和描述性等风格任务上匹配了原始学习曲线，并整理出实现细节清单。
Hugging Face Blog精选AI 评分6666 Hugging Face 详解 SDXL 的简单推理优化方法
Hugging Face Diffusers 团队发文讲解如何优化 SDXL 的推理速度和内存占用，测试在 A100（40GB）上进行，每轮生成 4 张图取第 3 次结果。
推荐理由：官方在 A100 上实测了多种 SDXL 推理优化手段并附完整数据表，读者可以按自己的显存和延迟需求直接选用对应技巧。
Hugging Face BlogAI 评分4545 如何用 Hugging Face Inference Endpoints 部署嵌入模型
Hugging Face 展示如何通过 Inference Endpoints 与 Text Embeddings Inference（TEI）部署开源嵌入模型，用于 RAG 等检索增强场景。
Hugging Face Blog精选AI 评分6262 Gradio 发布 @gradio/lite，让 Gradio 应用在浏览器中无服务器运行
Hugging Face 推出 @gradio/lite，通过 Pyodide 让 Gradio 应用直接在浏览器中运行，无需服务器端基础设施。开发者在 HTML 中引入 JS/CSS 并在 <gradio-lite> 标签内写 Python 代码即可，支持 <gradio-file> 多文件和 <gradio-requirements> 通过 micropip 安装依赖。
推荐理由：原文给出完整的上手代码和依赖、加载时间等限制说明，读者可直接照做评估浏览器端部署是否适合自己。
Hugging Face BlogAI 评分4040 ONNX Runtime 为 Hugging Face 超过 130,000 个模型提速
Hugging Face 上超过 130,000 个支持 ONNX 的模型可借助 ONNX Runtime 加速，包括 BERT、GPT2、Whisper 等多种 LLM 和云模型。
Hugging Face Blog精选AI 评分7878 Hugging Face 为 tokenizer 引入 chat_template 属性解决聊天格式不匹配问题
Hugging Face 宣布 tokenizers 新增 chat_template 属性，用于保存模型训练时的对话格式，避免因格式不匹配导致难以察觉的性能严重下降。
推荐理由：原文指出对话格式不匹配会导致静默性能下降，并给出将 Jinja 聊天模板随 tokenizer 保存和使用的具体做法。
Hugging Face BlogAI 评分4141 使用 JAX 在 Cloud TPU v5e 上加速 Stable Diffusion XL 推理
Hugging Face 宣布 Diffusers 现已支持通过 JAX 在 Cloud TPU 上部署 Stable Diffusion XL（SDXL），实现高性能、低成本的推理。
Hugging Face BlogAI 评分4444 如何用 Inference API 部署 AI Comic Factory
Hugging Face 发布教程，介绍如何 fork 并配置 AI Comic Factory，通过 Inference API 部署到自己的私有 Space，避免长时间排队。
Hugging Face BlogAI 评分4444 用 TRL 的 DDPO 微调 Stable Diffusion 模型
Hugging Face 介绍了如何通过 TRL 库新增的 DDPOTrainer，用强化学习方法 DDPO 微调 Stable Diffusion，使输出更符合人类审美。
Hugging Face BlogAI 评分2323 Hugging Face 走进华盛顿：AI 伦理与社会通讯 #5 及 2023 年夏季回顾
Hugging Face 伦理与社会团队发布夏季通讯，披露其 CEO Clem 在美国国会作证、出席美国参议院 AI Insight Forum，并对 E.U. AI Act 和 NTIA 的 AI 问责议题提出意见。
Hugging Face BlogAI 评分5656 Hugging Face 无代码教程：零基础微调 Llama 2 并搭建自己的聊天机器人
Hugging Face 发布面向非工程师的教程，用 Spaces、AutoTrain 和 ChatUI 三个工具，无需写代码即可微调 Llama 2 并部署聊天应用。教程分三步：创建 AutoTrain Space、用 Alpaca 指令数据集微调模型（示例用 7b 基座模型）、再用 ChatUI 模板部署成可分享的聊天应用。
Hugging Face BlogAI 评分4949 Llama 2 在 Amazon SageMaker 上的基准测试
Hugging Face 发布了一项针对 Llama 2 在 Amazon SageMaker 上部署的基准测试，分析了 60 种不同部署配置。测试覆盖 7B、13B、70B 三种参数规模，在 g5 与 p4d 系列 EC2 实例上，以 1/5/10/20 并发请求，比较有无 GPTQ 4-bit 量化的延迟与吞吐。
Hugging Face BlogAI 评分5555 Hugging Face 推出面向 PRO 用户的 Inference for PROs 服务
Hugging Face 推出 Inference for PROs，为 PRO 订阅用户提供精选模型的高速推理 API 端点和更高的免费 Inference API 速率限制。
Hugging Face BlogAI 评分3030 Rocket Money 携手 Hugging Face：在生产环境中扩展波动性 ML 模型
个人理财应用 Rocket Money 用 BERT 系列模型替代维护成本高的 regex 系统，为 4000+ 类别的交易文本分类提供支持，其原有 regex 系统每月处理超 1 亿笔交易。在对比自建方案、AWS Sagemaker 和 Hugging Face Inference API 后，经三个月评估选择 Hugging Face 托管模型，一周内即承接部分流量并通过最坏情况负载测试。
Hugging Face BlogAI 评分4242 3D Gaussian Splatting 入门：实时渲染真实感场景的技术解析
3D Gaussian Splatting 是一种光栅化技术，源自论文 "3D Gaussian Splatting for Real-Time Radiance Field Rendering"，可从少量图像实时渲染照片级真实感场景。
Hugging Face BlogAI 评分4242 Hugging Face 发布 Object Detection Leaderboard 并详解目标检测评测指标
Hugging Face 推出 Object Detection Leaderboard，对 Hub 上的目标检测模型按指标排名。文章讲解了 IoU、AP、AR 等指标的计算方法，并指出评测中可能导致不同报告结果不一致的偏差与陷阱。开发者可据此在数百个开源模型中挑选最适合自身应用的目标检测模型。
Hugging Face Blog精选AI 评分6767 Hugging Face 详解 LLM 生产环境推理优化：量化、Flash Attention 与架构改进
Hugging Face 官方博客系统讲解 LLM 推理优化的三类技术：8-bit/4-bit 量化、Flash Attention 注意力算法，以及 RoPE、ALiBi、MQA、GQA 等架构改进。
推荐理由：Hugging Face 官方以实测代码系统讲解量化、Flash Attention 与模型架构三类 LLM 推理优化方法，可迁移到部署实践。
Hugging Face Blog精选AI 评分6565 Hugging Face 发布 Würstchen 快速文生图扩散模型
Hugging Face 发布 Würstchen，一种在高度压缩潜空间中工作的文生图扩散模型，实现 42x 空间压缩。生成速度明显快于 SDXL 且内存占用更低；Würstchen v2 训练用 24,602 GPU 小时，支持最高 1536 分辨率，已集成进 Diffusers，模型权重和 Demo 已在 Hub 上线。
推荐理由：42x 空间压缩带来的训练与推理成本对比有具体数字，适合想低成本跑文生图的读者参考。
Hugging Face BlogAI 评分5454 使用 PyTorch FSDP 微调 Llama 2 70B 的实践指南
Hugging Face 团队发布教程，讲解如何用 PyTorch FSDP 在 2 节点共 16 张 A100 80GB 上全参数微调 meta-llama/Llama-2-70b-chat-hf，训练耗时约 13.5 小时。
Hugging Face BlogAI 评分5757 Hugging Face 详解 Transformers 原生支持的量化方案，实测对比 bitsandbytes 与 GPTQ
Hugging Face 官方博客概述 Transformers 原生支持的 bitsandbytes 与 auto-gptq 两种量化方案的优缺点，并附基准测试。
Hugging Face BlogAI 评分2727 SafeCoder 对比闭源代码助手
Hugging Face 推出企业级代码助手 SafeCoder，基于 BigCode 项目开源的 StarCoder 模型（15.5B 参数、80+ 编程语言、8192-token 上下文窗口），训练数据为 The Stack 中 1 trillion 代码 token。
Hugging Face Blog精选AI 评分6161 T2I-Adapter-SDXL 适配器发布并登陆 diffusers
Hugging Face Diffusers 团队与 T2I-Adapter 作者合作，为 Stable Diffusion XL 推出 T2I-Adapter 支持，并发布 sketch、canny、lineart、depth、openpose 五种条件的 checkpoints。
推荐理由：原文给出 T2I-Adapter-SDXL 与 ControlNet 的参数量对比、训练配置和完整用法代码，读者可以据此评估并直接上手使用。
Hugging Face Blog精选AI 评分7171 TII 发布 1800 亿参数开源模型 Falcon 180B，登陆 Hugging Face
TII 发布 Falcon 180B，为当时最大的开放语言模型，拥有 1800 亿参数，使用 RefinedWeb 数据集在 3.5 万亿 token 上完成预训练。
推荐理由：原文给出了参数量、训练规模、评测对比和完整部署硬件门槛，读者可以据此评估是否在自己的场景中采用这个开源模型。
Hugging Face BlogAI 评分2525 Fetch 借助 Amazon SageMaker 与 Hugging Face 将 ML 处理延迟降低 50%
消费奖励应用公司 Fetch 在 AWS 上用 Hugging Face 与 Amazon SageMaker 优化其 ML 流水线，12 个月内构建、训练并部署了 5 个以上模型，将最慢扫描的延迟降低 50%，文档理解模型准确率提升 200%。