如何在本地用 LM Studio 和 VS Code 运行 OlympicCoder 7B 做编码辅助
Hugging Face 发布教程，讲解如何用 LM Studio、4bit GGUF 量化的 OlympicCoder 7B 和 VS Code 的 Continue 扩展搭建本地编码助手。
推荐理由：原文给出从 LM Studio 到 VS Code 的完整本地部署步骤，并说明 OlympicCoder 适合竞赛类编码的定位，方法可直接照做。
教程实践
全部主题拿来就能用的实操内容：提示词技巧、工作流搭建、工具用法与踩坑经验。
最新精选
第 41–60 条 · 共 100 条Hugging Face Blog精选AI 评分6262
Hugging Face Blog精选AI 评分6161 Hugging Face 教程：用 React Native 在手机上本地运行 LLM
Hugging Face 发布端侧推理教程，用 React Native、llama.rn（llama.cpp 绑定）和 react-native-fs 构建可从 Hub 下载 GGUF 模型并完全离线对话的移动应用，代码在 EdgeLLM 仓库。
推荐理由：教程讲解模型选择与 GGUF 量化差异，并用 llama.rn 完整走通端侧聊天应用，方法可直接复用。
Hugging Face Blog精选AI 评分6161 如何低成本跑完 10 亿级分类与嵌入任务
这篇 Hugging Face 博客给出每天 10 亿级分类或嵌入推理的成本优化框架，用 Inference Endpoints、Infinity 和 Grafana k6 对三种用例实测。
推荐理由：原文给出可复现的成本与延迟优化框架和实测数字，读者可按自己的任务估算大规模分类和嵌入推理开销。
Hugging Face Blog精选AI 评分6464 Philipp Schmid 教程：用 GRPO 在 Countdown 游戏上复现 DeepSeek-R1 的 aha moment
Hugging Face 博客发布教程，用 GRPO 强化学习在 Countdown 数字游戏上训练 Qwen2.5-3B-Instruct，复现 DeepSeek-R1 论文中的小型 aha moment。
推荐理由：原文提供完整的 GRPO 训练代码、配置和分步训练观察，读者可以照此在开源模型上复现小型推理涌现实验。
Hugging Face Blog精选AI 评分6565 Hugging Face 盘点 Diffusers 中的开源视频生成模型现状
Hugging Face Diffusers 团队发文综述当前开源视频生成模型现状，覆盖 CogVideoX、Mochi-1、HunyuanVideo、LTX Video 等模型及其高资源需求、泛化与延迟等局限。
推荐理由：Diffusers 团队原文梳理了开源视频生成模型现状，并给出实测内存数据和一套可复用的推理与微调优化方法。
Hugging Face Blog精选AI 评分6767 Hugging Face 用 Sentence Transformers 训练快 400 倍的静态嵌入模型并开源两个新模型
Hugging Face 发布用 Sentence Transformers 训练静态嵌入模型的方法，新模型在 CPU 上比 all-mpnet-base-v2 等常见模型快 100 到 400 倍，同时保留至少 85% 的性能。
推荐理由：原文完整公开了静态嵌入模型的训练配方、脚本和数据集清单，并给出与主流模型的性能对比，可复用于低成本嵌入场景。
Hugging Face Blog精选AI 评分6969 Hugging Face 教程：可视化并理解 PyTorch 训练中的 GPU 内存
Hugging Face 发布教程，讲解如何用 torch.cuda.memory 快照工具可视化 PyTorch 训练各阶段的 GPU 内存占用。文章以 Qwen/Qwen2.5-1.5B 训练循环为例拆解参数、优化器状态、激活、梯度和优化器中间值的内存构成，并给出总内存估算公式与激活数量的线性启发式。
推荐理由：原文用 PyTorch 内存快照工具拆解训练各阶段的显存构成，并给出可复用的总内存估算公式和启发式，便于读者定位显存瓶颈。
Hugging Face Blog精选AI 评分6363 Hugging Face 博客详解如何用 NVIDIA LogitsProcessorZoo 控制大语言模型生成
Hugging Face 博客介绍 NVIDIA 开源的 LogitsProcessorZoo，一组与 Transformers 的 generate 方法兼容的模块化 logits 处理器，通过直接修改输出概率分布来控制生成。
推荐理由：原文给出四个 logits 处理器的参数、代码和实际输出对比，读者可以直接照着控制生成长度、引用、结尾短语和选择题格式。
Hugging Face Blog精选AI 评分6060 Hugging Face 博客逐步推导 Transformer 位置编码如何演进到 RoPE
Hugging Face 博客以迭代推导方式讲解位置编码设计，从整数编码、二进制编码到正弦编码，最终推导出 Llama 3.2 等现代 Transformer 采用的 RoPE。
推荐理由：文章把 RoPE 的设计过程拆成可跟随的迭代推导，从整数编码一步步走到旋转矩阵，适合想理解位置编码原理的读者。
Hugging Face Blog精选AI 评分6464 Hugging Face 五个常被忽视的实用工具详解
Hugging Face 官方博客盘点 Hub 上五个常被忽视的工具：ZeroGPU（免费 A100 GPU，每工作负载 40GB vRAM）、多进程 Docker Space（用 supervisord）、Gradio API、Webhooks 和 Nomic Atlas 语义搜索。
推荐理由：作者用免费语义搜索项目实际串起 ZeroGPU、多进程 Docker、Gradio API、Webhooks 和 Nomic Atlas 的用法，附可直接复用的代码示例。
Hugging Face Blog精选AI 评分6363 如何在 Core ML 上用不到 4GB 内存运行 Mistral 7B
Hugging Face 发布教程，演示如何用 WWDC24 的新 Core ML 特性在 Mac 上复现 Mistral 7B 的端侧运行。
推荐理由：原文复现 WWDC24 的 Mistral 7B 端侧运行示例，讲解 MLTensor、状态缓存和 4-bit 量化等新特性与完整转换步骤。
Hugging Face Blog精选AI 评分6464 NuminaMath 7B TIR 如何夺得首届 AIMO 进步奖
Numina 与 Hugging Face 合作微调的 NuminaMath 7B TIR 赢得首届 AIMO Progress Prize，在私有测试集 50 题中解出 29 题。
推荐理由：原文由获奖团队完整给出两阶段微调、SC-TIR 推理和防过拟合验证的做法，方法可迁移到数学推理模型训练。
Hugging Face Blog精选AI 评分6161 Hugging Face 教你用 TRL 的 DPO 微调视觉语言模型并减少幻觉
TRL 库现已支持对视觉语言模型做 DPO 偏好优化训练，官方博客以 Idefics2-8b 为例给出完整教程。
推荐理由：原文给出从数据格式化、显存估算到 LoRA 量化的完整 DPO 训练流程，读者可直接迁移到自己的 VLM 微调场景。
Hugging Face Blog精选AI 评分6868 Hugging Face 介绍二值与标量 Embedding 量化，显著加速检索并降低成本
Hugging Face 博客介绍 embedding 量化方法，展示二值量化可将内存与磁盘占用降至 1/32、检索最快提速 45x，配合 rescoring 可保留约 96% 的检索性能；int8 标量量化占用为 1/4、平均提速 3.66x。
推荐理由：原文给出 embedding 量化的原理、代码与实测数据，读者可以照此在检索场景中权衡内存、速度与精度。
Hugging Face Blog精选AI 评分6464 Hugging Face 介绍 GaLore：在消费级 GPU 上训练大语言模型的内存优化方法
Hugging Face 官方博客介绍 GaLore 如何利用梯度低秩结构降低训练内存，支持在 RTX 4090 等消费级 GPU 上预训练 Llama 架构 7B 模型。优化器状态内存可减少超过 82.5%，可与 8-bit 优化器结合，并支持通过 transformers>=4.39.0 和 galore-torch 使用 galore_adamw 等优化器及 _layerwise 逐层更新。
推荐理由：原文给出GaLore在消费级硬件上预训练7B模型的方法细节和Transformers接入方式，可迁移到实际训练工作流。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 Cosmopedia：详解如何为预训练大语言模型生成大规模合成数据
Hugging Face 发布 Cosmopedia，一个由 Mixtral-8x7B-Instruct-v0.1 生成的合成数据集，含超 3000 万文件、250 亿 token，旨在复现 Phi-1.5 的训练数据。
推荐理由：官方详解大规模预训练合成数据的构建流程，提示词策划、聚类与去污染方法均可迁移到类似的数据生成项目。
Hugging Face Blog精选AI 评分6868 教程：用 Gradio 在 Hugging Face Spaces 上免费运行 ComfyUI 工作流
Hugging Face 发布教程，讲解如何把 ComfyUI 工作流转换成 Gradio 应用并部署到 Spaces 的 ZeroGPU 免费推理。
推荐理由：原文给出从导出 ComfyUI 工作流到在 Spaces ZeroGPU 免费部署的完整步骤，含模型映射和代码改动细节，可迁移到自己的工作流。
Hugging Face Blog精选AI 评分7272 Hugging Face 介绍如何用 Unsloth 将 LLM 微调提速至 2 倍
Hugging Face 博客介绍社区开发的轻量微调库 Unsloth，与 Hub、transformers、PEFT、TRL 完全兼容，可配合 SFTTrainer、DPOTrainer、PPOTrainer 使用。
推荐理由：原文给出 Unsloth 与 TRL 的完整用法和 59 组基准数据，微调提速与显存收益可直接迁移到自己的 QLoRA 工作流。
Hugging Face Blog精选AI 评分6868 Hugging Face 发布 SDXL Dreambooth LoRA 进阶训练脚本指南
Hugging Face 发布 SDXL Dreambooth LoRA 进阶训练社区指南，将 Replicate SDXL Cog trainer 的 Pivotal Tuning 与 Kohya trainer 使用的 Prodigy 优化器等多项优化组合，脚本已在 diffusers 开源并提供 Colab 与 Spaces 入口。
推荐理由：官方博客给出把 Pivotal Tuning 与 Prodigy 优化器组合进 SDXL Dreambooth LoRA 训练的完整做法与实验对比，参数可直接复用。
Hugging Face Blog精选AI 评分6666 Whisper 用 Speculative Decoding 实现 2 倍推理加速且输出完全一致
Hugging Face 博客演示如何用 speculative decoding 将 Whisper 语音转录推理时间降低约 2 倍，同时从数学上保证输出与原模型完全一致。
推荐理由：原文给出了完整的 speculative decoding 原理和实测代码，读者可以直接把它作为 Whisper 推理加速的替换方案。