Hugging Face 发布 Transformers.js v3，新增 WebGPU 支持与更多模型架构
Hugging Face 发布 Transformers.js v3，经一年多开发后正式推出，WebGPU 加速可比 WASM 快至 100 倍，支持架构总数达 120 个，Hub 上预转换模型超过 1200 个。
推荐理由：官方发布说明给出 WebGPU 加速、量化选项和迁移方式，读者可以据此评估是否升级到 v3。
#端侧
#端侧
今日 0 条Hugging Face Blog精选AI 评分7373
Mistral AI精选AI 评分6060 Mistral AI 发布 Ministral 3B 与 Ministral 8B 端侧模型
Mistral AI 在 Mistral 7B 发布一周年之际推出端侧模型 Ministral 3B 和 Ministral 8B，主打设备端与边缘场景，官方称两者在 sub-10B 级别的知识、常识、推理、function-calling 和效率上达到新水平。
推荐理由：官方公布了两个端侧模型的能力定位、上下文长度、API 定价与权重许可，读者可据此评估本地推理场景的选型。
Hugging Face Blog精选AI 评分8585 Meta 发布 Llama 3.2：11B/90B 视觉模型与 1B/3B 端侧文本模型上线 Hugging Face
Meta 发布 Llama 3.2，Hugging Face 上线 10 个开放权重模型，包括 11B 和 90B 两个视觉模型（各有 base 与 instruct 版本）以及 1B 和 3B 两个可端侧运行的文本模型。
推荐理由：原文来自 Hugging Face 官方，详细说明了 Vision 与端侧小模型的规模、显存需求、许可证限制和上手方式，适合据此评估是否采用。
Hugging Face Blog精选AI 评分6868 Google 发布 Gemma 2 2B、ShieldGemma 和 Gemma Scope
Google 在 Gemma 2 发布一个月后推出三款新模型：2.6B 参数的 Gemma 2 2B（含 base 和 instruct 版本，适合端侧使用）、基于 Gemma 2 的安全分类器系列 ShieldGemma（2B/9B/27B）以及覆盖 Gemma 2 2B 和 9B 每一层的开源稀疏自编码器套件 Gemma Scope。
推荐理由：原文详细给出 Gemma 2 2B 的端侧用法、辅助生成加速和两个配套工具的评测，对部署和模型解释研究都有可操作的参考价值。
Hugging Face Blog精选AI 评分6363 如何在 Core ML 上用不到 4GB 内存运行 Mistral 7B
Hugging Face 发布教程，演示如何用 WWDC24 的新 Core ML 特性在 Mac 上复现 Mistral 7B 的端侧运行。
推荐理由：原文复现 WWDC24 的 Mistral 7B 端侧运行示例，讲解 MLTensor、状态缓存和 4-bit 量化等新特性与完整转换步骤。
Hugging Face Blog精选AI 评分6464 Hugging Face 发布 SmolLM 小型模型系列，含 135M、360M 和 1.7B 三种规格
Hugging Face 发布 SmolLM 小型语言模型系列，提供 135M、360M 和 1.7B 三种参数规模，并同步开源训练语料 SmolLM-Corpus。
推荐理由：官方公开了小型模型的数据配比、训练细节和完整语料，同档评测结果与端侧部署信息都可查证，适合关心小模型训练的人参考。
Hugging Face BlogAI 评分3333 Hugging Face Transformers 新手入门指南
Hugging Face 发布面向非技术读者的 Transformers 入门教程，手把手演示如何在 Hugging Face Space 的 JupyterLab notebook 中运行微软的 Phi-2 大语言模型。
Hugging Face BlogAI 评分5858 在 Intel Meteor Lake 笔记本上本地运行 Phi-2 聊天机器人
Hugging Face 教你在搭载 Intel Core Ultra 7 155H 的笔记本上本地运行 Microsoft Phi-2：用 Optimum Intel 集成的 OpenVINO 对模型权重做 4-bit 量化（80% 权重 4-bit、其余 8-bit），在 Meteor Lake 的 iGPU 上推理。
Hugging Face Blog精选AI 评分7474 Apple 与 Hugging Face 发布 Stable Diffusion XL 的 Core ML 版本及混合位宽量化方案
Apple 与 Hugging Face 将 Stable Diffusion XL 移植到 Core ML，发布完整 pipeline 和 mixed-bit palettization 量化版本，UNet 以平均 4.5 位压缩后体积从 4.8GB 降至 1.4GB（减少 71%）。
推荐理由：原文给出 Stable Diffusion XL 在 Mac 上的 Core ML 移植细节、压缩到 4.5 位后体积从 4.8GB 降到 1.4GB 的数据，以及可复用的混合位宽量化方法。
Hugging Face Blog精选AI 评分6363 用 Transformers.js 制作浏览器端 ML 网页游戏 Doodle Dash
作者发布了教程，讲解如何用 Transformers.js 制作完全在浏览器中实时运行的 ML 网页游戏 Doodle Dash，灵感来自 Google 的 Quick, Draw!
推荐理由：原文给出了从微调 apple/mobilevit-small 到用 Transformers.js 在浏览器端实时推理的完整流程，方法可直接复用于自制浏览器端 ML 游戏。
Hugging Face Blog精选AI 评分6666 Hugging Face 讲解如何在 iPhone、iPad 和 Mac 上用 Core ML 加速 Stable Diffusion
Apple 在 WWDC'23 中更新 Core ML 与 coremltools 的压缩优化能力，配合开源仓库 ml-stable-diffusion，支持将 Stable Diffusion 量化为 8/6/4/2-bit palettization，推荐 6-bit 以在精度损失很小的前提下加快推理并节省内存。
推荐理由：作者亲测 6-bit palettization 带来的生成速度提升，并给出完整转换命令和 Hub 模型，读者可按步骤迁移到自己微调的模型。