Banque des Territoires（CDC 集团）× Polyconseil × Hugging Face：用主权数据方案助力法国大型环保计划 EduRénov
Banque des Territoires（CDC 集团）、Polyconseil 与 Hugging Face 于今年 1 月启动合作，为支持法国学校生态改造计划 EduRénov 构建基于 RAG 的主权数据方案，第一阶段已完成。
全部AI 动态
全部动态
今日 4 条Hugging Face BlogAI 评分3535
Hugging Face BlogAI 评分2828 如何在 Intel Gaudi 2 上加速蛋白质语言模型 ProtST
Intel 与 MILA 重构了多模态蛋白质语言模型 ProtST，并发布在 Hugging Face Hub 上，演示如何用 Intel Gaudi 2 加速器和 Optimum for Intel Gaudi 库进行推理与微调。
Hugging Face BlogAI 评分5252 Hugging Face 实操教程：微调 Florence-2 完成 DocVQA
Hugging Face 发布 Florence-2 微调教程。微软 2024 年 6 月发布的 Florence-2 有 0.2B 和 0.7B 两种规模，官方模型不含 VQA 能力。
Hugging Face BlogAI 评分5757 Hugging Face Accelerate 如何统一 DeepSpeed 与 FSDP 的混合精度行为
Hugging Face 发布博客，解释通过 Accelerate 使用 DeepSpeed 与 PyTorch FSDP 训练 Mistral-7B 时结果不一致的原因：DeepSpeed 默认把主权重上转 fp32，而 FSDP 原生不强制上转。
Hugging Face BlogAI 评分5353 Hugging Face 在 TRL 中发布 RLOO Trainer，为在线 RLHF 提供更轻量的 PPO 替代方案
Hugging Face 在 TRL 中推出 RLOO（REINFORCE Leave One-Out）在线 RLHF 训练器，作为 PPO 的替代方案。
Hugging Face BlogAI 评分3131 Hugging Face 为 Intel Gaudi 优化 assisted generation 加速文本生成
Hugging Face 将 assisted generation（基于 Speculative Sampling）适配并优化到 Intel Gaudi 处理器，现已合入 Optimum Habana，通过 .generate() 的 assistant_model 参数指定 draft 模型即可使用。
Hugging Face BlogAI 评分4242 Hugging Face TGI Benchmarking 工具：如何对 LLM 推理部署做吞吐与延迟基准测试
Hugging Face 介绍其 Text Generation Inference（TGI）附带的 TGI Benchmarking 工具，用于在吞吐之外同时测量延迟（含 TTFT），帮助用户根据场景权衡调优 LLM 部署。
Hugging Face BlogAI 评分5858 使用 Sentence Transformers 训练和微调嵌入模型教程
Hugging Face 发布教程，介绍如何使用 Sentence Transformers 库微调或从零训练嵌入模型，覆盖数据集、损失函数、训练参数、评估器和 Trainer 五个组件。
Hugging Face BlogAI 评分5757 Hugging Face Transformers 推出 KV Cache 量化功能，支持更长文本生成
Hugging Face 在 Transformers 中新增 KV Cache 量化功能，通过降低缓存精度显著减少长上下文生成的内存占用，同时保持生成质量。
Hugging Face BlogAI 评分3333 如何用 Intel Gaudi 2 与 Intel Xeon 构建低成本企业 RAG 应用
Hugging Face 与 Intel 在 OPEA 框架下演示企业 RAG 应用构建：嵌入模型 BAAI/bge-base-en-v1.5 跑在 Xeon CPU（AMX-FP16 带来 2-3x 性能提升），LLM 经 TGI 服务跑在 Gaudi 2 加速器上，示例为 Intel/neural-chat-7b-v3-3。
Hugging Face BlogAI 评分4646 Whisper + 说话人分离 + 投机解码：在 Hugging Face Inference Endpoints 上部署强大 ASR
Hugging Face 展示如何用自定义 inference handler 在 Inference Endpoints 上部署 Whisper ASR，并结合 Pyannote diarization pipeline 实现说话人分离，以及通过投机解码加速推理。
Hugging Face BlogAI 评分5858 Gradio reload 模式教程：用 gradio app.py 快速迭代 AI 应用
Hugging Face 博客介绍 Gradio 的 reload 模式，用 gradio app.py 代替 python app.py 启动即可在不重启服务器的情况下载入最新代码改动。
Hugging Face BlogAI 评分3535 如何在 Hugging Face Endpoints 上运行隐私保护的 FHE 推理（Concrete ML 教程）
Zama 团队将其基于全同态加密（FHE）的隐私保护机器学习框架 Concrete ML 的预编译模型上线 Hugging Face Endpoints，用户可一键部署 FHE 友好模型（如加密垃圾邮件检测的决策树）并在加密数据上直接推理。
Hugging Face BlogAI 评分5656 Hugging Face 讲解视觉语言模型原理、选型与 TRL 微调方法
Hugging Face 发布视觉语言模型入门教程，介绍其图像编码器、投影层与文本解码器等核心结构，并列出 LLaVA 1.6、KOSMOS-2、Qwen-VL 等开源模型。
Hugging Face BlogAI 评分4545 使用 Hugging Face Dataset Viewer API 与 MotherDuck DuckDB-NSQL-7B 实现 Text2SQL
DuckDB-NSQL-7B 是 MotherDuck 和 Numbers Station 专为 DuckDB SQL 推出的 text2SQL 模型，基于 Meta 的 Llama-2-7b 微调，可生成包括 SELECT 在内的多种有效 DuckDB SQL 语句。
Hugging Face BlogAI 评分3838 用 🤗 Optimum Intel 在 Xeon 上实现 SetFit 极速推理
SetFit 是 Hugging Face 与 Intel Labs、UKP Lab 合作开发的少样本微调框架，在 Banking 77 数据集上，5-shot 表现优于 3-shot GPT-4，无需提示词且训练推理速度比 LLM 方法快一个数量级以上。
Hugging Face Blog精选AI 评分6868 Hugging Face 介绍二值与标量 Embedding 量化，显著加速检索并降低成本
Hugging Face 博客介绍 embedding 量化方法，展示二值量化可将内存与磁盘占用降至 1/32、检索最快提速 45x，配合 rescoring 可保留约 96% 的检索性能；int8 标量量化占用为 1/4、平均提速 3.66x。
推荐理由：原文给出 embedding 量化的原理、代码与实测数据，读者可以照此在检索场景中权衡内存、速度与精度。
Hugging Face BlogAI 评分3333 Hugging Face Transformers 新手入门指南
Hugging Face 发布面向非技术读者的 Transformers 入门教程，手把手演示如何在 Hugging Face Space 的 JupyterLab notebook 中运行微软的 Phi-2 大语言模型。
Hugging Face Blog精选AI 评分6464 Hugging Face 介绍 GaLore：在消费级 GPU 上训练大语言模型的内存优化方法
Hugging Face 官方博客介绍 GaLore 如何利用梯度低秩结构降低训练内存，支持在 RTX 4090 等消费级 GPU 上预训练 Llama 架构 7B 模型。优化器状态内存可减少超过 82.5%，可与 8-bit 优化器结合，并支持通过 transformers>=4.39.0 和 galore-torch 使用 galore_adamw 等优化器及 _layerwise 逐层更新。
推荐理由：原文给出GaLore在消费级硬件上预训练7B模型的方法细节和Transformers接入方式，可迁移到实际训练工作流。
Hugging Face BlogAI 评分5858 在 Intel Meteor Lake 笔记本上本地运行 Phi-2 聊天机器人
Hugging Face 教你在搭载 Intel Core Ultra 7 155H 的笔记本上本地运行 Microsoft Phi-2：用 Optimum Intel 集成的 OpenVINO 对模型权重做 4-bit 量化（80% 权重 4-bit、其余 8-bit），在 Meteor Lake 的 iGPU 上推理。
Hugging Face BlogAI 评分5959 用 Optimum Intel 和 fastRAG 在 CPU 上优化 BGE 嵌入模型
Hugging Face 博客介绍如何用 Optimum Intel、Intel Neural Compressor 和 IPEX 将 BGE small/base/large 嵌入模型量化为 int8 并在 Intel Xeon 上加速。
Hugging Face BlogAI 评分2828 使用 Optimum Habana 在 Intel Gaudi 2 AI 加速器上运行 Llama 2 文本生成 pipeline
Hugging Face 展示如何在 Intel Gaudi 2 AI 加速器上，用 Optimum Habana 和自定义 pipeline 类运行 Llama 2 系列（7b、13b、70b）进行文本生成，几行代码即可完成。
Hugging Face BlogAI 评分5656 Hugging Face 讲解 AI 水印技术：工具与方法入门
Hugging Face 发布 AI 水印入门博客，讲解图像、文本和音频内容的加水印方法及优缺点。文中介绍生成时嵌入与生成后添加两大类方法、Nightshade 与 Glaze 等图像防滥用工具、基于红绿 token 的 LLM 文本水印，以及 AudioSeal 语音水印，并列出 Hub 上 IMATAG、Truepic 等相关工具，同时指出文本检测在文本较短或模型未知时可靠性有限。
Hugging Face Blog精选AI 评分6262 Hugging Face 介绍 Matryoshka 嵌入模型及 Sentence Transformers 训练用法
Hugging Face 发文介绍 Matryoshka 嵌入模型，这种模型可产出多种维度的有用嵌入，将重要信息前置以便截断后仍保持性能。
推荐理由：原文讲清 Matryoshka 嵌入的训练与使用方法，并用对比实验说明截断到 8.3% 维度仍保留 98.37% 性能，方法可直接复用。
Hugging Face Blog精选AI 评分6565 Hugging Face 发布 Gemma 模型 LoRA/QLoRA 微调教程
Hugging Face 发布 Gemma 模型微调教程，演示用 Transformers、PEFT 与 trl 的 SFTTrainer，通过 LoRA 和 4-bit QLoRA（bitsandbytes、nf4 量化）在 google/gemma-2b 上以 english_quotes 数据集训练模型按指定格式输出名言和作者。
推荐理由：Hugging Face 官方用 LoRA 和 4-bit QLoRA 给出 Gemma 微调的完整可复现代码，覆盖 GPU 和 TPU 两种路径。
Hugging Face Blog精选AI 评分6161 Hugging Face PEFT 新增多種 LoRA adapter 合并方法
Hugging Face 在 PEFT 中为 LoRA adapter 新增多種合并方法，可通过 add_weighted_adapter() 调用，包括 cat、linear、svd、ties、dare_linear、dare_ties、magnitude_prune 及其 svd 变体。
推荐理由：官方详细介绍 PEFT 新增的多种 LoRA 合并方法及代码示例，还给出不同场景下的实测选择建议，便于直接复用。
Hugging Face Blog精选AI 评分7070 Hugging Face 教程：用开源 LLM 生成合成数据微调专用模型，节省成本、时间和碳排放
Hugging Face 发布教程，展示用 Mixtral-8x7B-Instruct-v0.1 生成合成数据，再通过 AutoTrain 微调 RoBERTa-base 做金融新闻情绪分类。
推荐理由：原文给出可复用的合成数据蒸馏流程和成本对比数字，读者可以照此把自己的分类任务从 LLM API 迁到专用小模型。
Hugging Face Blog精选AI 评分6464 Hugging Face 发布开源模型 Constitutional AI 完整配方及 llm-swarm 工具
Hugging Face 发布了用开源模型实现 Anthropic Constitutional AI 的端到端配方，并开源了基于 TGI 和 vLLM、在 Slurm 集群上做规模化合成数据生成的工具 llm-swarm。
推荐理由：原文给出了开源模型跑通 Constitutional AI 的完整配方与实验数据，读者可以照着复现自己的对齐流程。
Hugging Face BlogAI 评分3030 Hugging Face 上手指南：PatchTST 时间序列 Transformer 如何做预测与迁移学习
Hugging Face 发布 PatchTST 模型上手教程，演示其在 Electricity 数据集上的时间序列预测训练，以及在 ETTh1 数据集上的零样本迁移学习能力，再通过线性探测和微调验证目标域预测性能。
Hugging Face BlogAI 评分3636 Hugging Face Text Generation Inference 正式支持 AWS Inferentia2
Hugging Face 宣布 Text Generation Inference（TGI）在 AWS Inferentia2 和 Amazon SageMaker 上正式可用，用于大规模部署和提供 LLM 生产级服务。
Hugging Face BlogAI 评分3737 如何用 Optimum Intel 在 Xeon 上加速 StarCoder：Q8/Q4 量化与投机解码
Hugging Face 联合 Intel 展示了在第四代 Xeon（借助 AMX 加速）上优化 StarCoder-15B 推理的方法，通过 SmoothQuant 实现 Q8 量化，TTFT 加速约 2.19x、TPOT 加速约 2.20x 且精度无损失；再结合 4bit 权重唯一量化和 assisted generation，实现超过 7x 的推理加速。
Hugging Face BlogAI 评分5555 Hugging Face 实测开源 LLM 搭配 LangChain 构建 ReAct 智能体
Hugging Face 讲解 ReAct 智能体原理，并发布 ChatHuggingFace 封装让开源模型接入 LangChain。评测显示 Mixtral-8x7B 在含 HotpotQA、GSM8K、GAIA 子集的基准上超越 GPT-3.5，Zephyr-7b-beta 和 Llama2-70b 表现较差；团队建议针对函数调用微调 Mixtral 以冲击 GPT-4。
Hugging Face BlogAI 评分5252 Hugging Face 教程：用 Transformers 微调 Wav2Vec2-BERT 做低资源语音识别
Hugging Face 发布教程，演示如何用 facebook/w2v-bert-2.0 checkpoint 和 CTC 在 Common Voice 16.0 约 14 小时的蒙古语数据上微调 Wav2Vec2-BERT。
Hugging Face BlogAI 评分5252 Hugging Face 实测 DPO、IPO、KTO 三种无强化学习偏好对齐方法
Hugging Face 团队在 OpenHermes-2.5-Mistral-7B 和 Zephyr-7b-beta-sft 两个模型上，用 MT-Bench 实测了 DPO、IPO、KTO 三种无需强化学习的偏好对齐方法。
Hugging Face BlogAI 评分5555 用 ONNX Runtime 和 Olive 加速 SD Turbo 与 SDXL Turbo 推理
Hugging Face 与 ONNX Runtime 团队介绍用 Olive 优化的 SD Turbo 和 SDXL Turbo 模型，在 NVIDIA GPU 上用 ONNX Runtime CUDA 和 TensorRT 执行提供者加速推理。
Hugging Face Blog精选AI 评分6868 教程：用 Gradio 在 Hugging Face Spaces 上免费运行 ComfyUI 工作流
Hugging Face 发布教程，讲解如何把 ComfyUI 工作流转换成 Gradio 应用并部署到 Spaces 的 ZeroGPU 免费推理。
推荐理由：原文给出从导出 ComfyUI 工作流到在 Spaces ZeroGPU 免费部署的完整步骤，含模型映射和代码改动细节，可迁移到自己的工作流。
Hugging Face BlogAI 评分4141 Vectara 借助 Hugging Face leaderboard 模板搭建 HHEM 幻觉排行榜的端到端指南
Vectara 基于开源的 Hugging Face leaderboard 模板发布了新的 HHEM 排行榜，用于评估 GPT-4、Google Gemini、Llama 2 等大语言模型在文档摘要中产生幻觉的频率。
Hugging Face Blog精选AI 评分7272 Hugging Face 介绍如何用 Unsloth 将 LLM 微调提速至 2 倍
Hugging Face 博客介绍社区开发的轻量微调库 Unsloth，与 Hub、transformers、PEFT、TRL 完全兼容，可配合 SFTTrainer、DPOTrainer、PPOTrainer 使用。
推荐理由：原文给出 Unsloth 与 TRL 的完整用法和 59 组基准数据，微调提速与显存收益可直接迁移到自己的 QLoRA 工作流。
Hugging Face Blog精选AI 评分6868 Hugging Face 发布 SDXL Dreambooth LoRA 进阶训练脚本指南
Hugging Face 发布 SDXL Dreambooth LoRA 进阶训练社区指南，将 Replicate SDXL Cog trainer 的 Pivotal Tuning 与 Kohya trainer 使用的 Prodigy 优化器等多项优化组合，脚本已在 diffusers 开源并提供 Colab 与 Spaces 入口。
推荐理由：官方博客给出把 Pivotal Tuning 与 Prodigy 优化器组合进 SDXL Dreambooth LoRA 训练的完整做法与实验对比，参数可直接复用。
Hugging Face Blog精选AI 评分6666 Whisper 用 Speculative Decoding 实现 2 倍推理加速且输出完全一致
Hugging Face 博客演示如何用 speculative decoding 将 Whisper 语音转录推理时间降低约 2 倍，同时从数学上保证输出与原模型完全一致。
推荐理由：原文给出了完整的 speculative decoding 原理和实测代码，读者可以直接把它作为 Whisper 推理加速的替换方案。