Liquid AI 发布 LFM2.5-VL-3B 的 DSpark 草稿模型，端侧解码最高加速 3.13x
Liquid AI 发布面向视觉语言模型 LFM2.5-VL-3B 的实验性 DSpark 草稿模型，通过投机解码在不改变输出质量的前提下换取加速。
推荐理由：原文给出视觉 DSpark 草稿模型的架构细节、实测加速数字和三大推理框架接入方式，读者可评估端侧 VLM 推理加速的可迁移做法。
#端侧
#端侧
今日 0 条Hugging Face Blog精选AI 评分6262
Hugging Face BlogAI 评分4343 oMLX 创建者与维护者 Jun Kim 加入 Hugging Face，支持 MLX 社区
oMLX 的创建者和维护者 Jun Kim 加入 Hugging Face，将把 oMLX 从副业转变为获得完全维护和资金支持的项目，oMLX 仍保持 Apache 2.0 开源并由 Jun 继续领导。
Hugging Face Blog精选AI 评分7070 transformers 现已支持运行 llama.cpp 的 GGUF 量化模型
Hugging Face 宣布 transformers 支持通过 from_pretrained 直接加载 GGUF 量化模型，复用 ggml 的 Metal 内核以接近 llama.cpp 的性能。
推荐理由：官方介绍 transformers 直接加载 GGUF 的用法、量化选择和与 llama.cpp 的对比数据，对想在 Mac 上本地推理的开发者有实用参考。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 @huggingface/kernels 及 207 个 WebGPU 内核
Hugging Face WebAI 团队发布 @huggingface/kernels 库和 207 个 WebGPU 内核（Apache-2.0），每个内核以带版本号的独立仓库发布，包含 manifest、正确性测试、基准用例和 WGSL shader 模板。
推荐理由：官方介绍了 207 个 WebGPU 内核的发布方式和与 ORT WebGPU 的实测对比，读者可以据此评估浏览器端推理优化的可用路径。
Hugging Face Blog精选AI 评分6666 Liquid AI 发布 LFM2.5-DSpark 草稿模型，推理最高提速 3.2x
Liquid AI 为 LFM2.5 系列三个模型（LFM2.5-1.2B-Instruct、LFM2.5-2.6B、LFM2.5-8B-A1B）发布 DSpark 草稿模型检查点，采用投机解码在不改变输出质量的前提下大幅加速解码。
推荐理由：官方给出 DSpark 草稿模型的具体加速数据、质量等价原理和 llama.cpp 与 SGLang 的用法，端侧部署可直接迁移。
Google DeepMind精选AI 评分6868 Google DeepMind 发布手语转文本模型 SL2T，落地 Gboard 与 Live Transcribe
Google DeepMind 发布多语言手语转文本（SL2T）翻译模型，首次将手语 AI 带入消费产品，支持在 Pixel 11 的 Gboard 和 Live Transcribe 中以美式手语（ASL）输入英文。
推荐理由：原文介绍了 SL2T 的训练数据、隐私设计与基准成绩，并说明其落地产品形态，读者可以了解手语翻译模型的可行路径。
Google ResearchAI 评分4545 Google 在 Pixel 上用冻结权重的 Multi-Token Prediction 加速 Gemini Nano v3
Google 将 Multi-Token Prediction（MTP）头附加到冻结权重的 Gemini Nano v3 模型上，已面向 Pixel 9 和 10 系列推出，可开箱即用地加速端侧 AI。
Google DeepMind精选AI 评分7777 Google DeepMind 发布 Gemma 4 12B：无编码器的统一多模态模型
Google DeepMind 发布 Gemma 4 12B，采用无编码器的统一多模态架构，视觉和音频输入直接进入 LLM backbone，支持原生音频输入。
推荐理由：原文给出了架构细节、内存门槛和许可证等可验证事实，读者可据此评估本地部署多模态模型的可行性。
Hugging Face Blog精选AI 评分7070 Hcompany 发布 Holo3.1 系列 Computer Use 模型，支持量化本地部署
Hcompany 发布 Holo3.1 系列 Computer Use 模型，提供 0.8B、4B、9B 和 35B-A3B 四种尺寸。
推荐理由：官方给出各尺寸在 OSWorld 与 AndroidWorld 的量化后表现和部署路径，读者可据此评估本地 Computer Use Agent 的可行性。
Hugging Face Blog精选AI 评分6363 Hugging Face 讲解如何在 Chrome 扩展的 Manifest V3 中运行 Transformers.js
Hugging Face 发布教程，指导开发者在 Manifest V3 约束下用 Transformers.js 在 Chrome 扩展中运行本地 AI，并复刻其 Gemma 4 Browser Assistant 架构。
推荐理由：作者基于自家 Gemma 4 浏览器扩展拆解 MV3 下运行 Transformers.js 的架构决策，给出可直接迁移的运行时划分与消息契约设计。
Hugging Face Blog精选AI 评分6565 Overworld 发布实时视频世界模型 Waypoint-1.5，消费级 GPU 可本地运行
Overworld 发布实时视频世界模型 Waypoint-1.5，权重已上传 Hugging Face。在 RTX 3090 至 5090 桌面硬件上可实时生成最高 720p、60 FPS 的交互环境，另提供面向游戏笔记本等更广消费级硬件的 360p 档位，Apple Silicon 支持即将推出。
推荐理由：原文给出两档模型的具体硬件门槛、帧率分辨率和约百倍数据训练规模，读者可据此判断自己的设备能否本地运行。
Google DeepMind精选AI 评分7979 Google DeepMind 发布 Gemma 4 开源模型，E2B/E4B/26B MoE/31B 四尺寸
Google DeepMind 发布 Gemma 4 开源模型，基于 Gemini 3 技术，主打高级推理和智能体工作流。提供 E2B、E4B、26B MoE（推理时仅激活 3.8B 参数）和 31B Dense 四种尺寸，31B 在 Arena AI 文本排行榜上位列全球开源模型第 3，采用 Apache 2.0 许可，支持 128K-256K 上下文窗口、原生多模态和 140+ 语言。
推荐理由：原文给出了四个尺寸、基准排名和部署细节，读者可以据此判断在本地和端侧硬件上的可用性。
Hugging Face Blog精选AI 评分8282 Google DeepMind 发布 Gemma 4 多模态模型系列并登陆 Hugging Face
Google DeepMind 发布 Gemma 4 多模态模型系列，共五个尺寸（E2B、E4B、12B Unified、31B、26B A4B MoE），采用 Apache 2.0 许可，支持图像、文本和音频输入，上下文窗口最高 256K。
推荐理由：Hugging Face 官方详解 Gemma 4 架构、多模态能力与全生态部署方式，还覆盖 DiffusionGemma 和推理加速等上手细节。
Hugging Face BlogAI 评分4747 NXP 如何把机器人 AI 带到嵌入式平台：数据集录制、VLA 微调与端侧优化
NXP 发布实践指南，讲解如何在嵌入式机器人平台上录制可靠数据集并微调 ACT 与 SmolVLA 等 VLA 策略，并展示 NXP i.MX 95 SoC 优化后的实时性能。
Hugging Face Blog精选AI 评分8181 GGML 与 llama.cpp 团队加入 Hugging Face 以推动本地 AI 长期发展
GGML 及 Georgi Gerganov 团队宣布加入 Hugging Face，以保障本地 AI 的长期开源发展。团队将继续全职维护 llama.cpp，保持技术方向与社区自治，项目继续 100% 开源、社区驱动；双方计划让 transformers 中的模型定义能近乎一键地在 llama.cpp 中落地，并改进基于 ggml 的软件的打包与用户体验。
推荐理由：收购方官方说明团队加入后的自治安排与技术方向，读者可据此评估 llama.cpp 社区的连续性与本地推理生态走向。
Google ResearchAI 评分4747 Google Research：小模型也能出色提取用户意图——通过任务分解实现在端侧意图理解
Google Research 在 EMNLP 2025 发表的论文提出一种两阶段分解方法，让小型多模态 LLM 在设备端理解用户 UI 交互轨迹：先逐屏总结交互，再从总结序列提取意图。
Google ResearchAI 评分4343 Google Research 用智能手表估计高级步行指标
Google Research 展示搭载 TCN 架构多输出深度学习模型，仅凭 Pixel Watch 50 Hz IMU 信号和用户身高，即可直接估计步速、步长、双支撑时间、摆动/站立时间等时空步态指标。在 246 名参与者、约 70,000 个步行片段的验证中，多数指标 Pearson r>0.80、ICC>0.80，与手机方案性能相当，且无显著差异（p>0.05）。
Hugging Face BlogAI 评分4848 Hugging Face 发布 swift-huggingface：完整的 Swift 客户端库
Hugging Face 推出 Swift 软件包 swift-huggingface，为 Hugging Face Hub 提供完整客户端，后续将集成进 swift-transformers 替换其 HubApi 实现。
Mistral AI精选AI 评分8282 Mistral 发布 Mistral 3 系列模型，含 Mistral Large 3 与 Ministral 3 全系开源
Mistral 发布 Mistral 3 系列模型，包括 41B 激活、675B 总参数的 MoE 模型 Mistral Large 3，以及 3B/8B/14B 三种尺寸的 Ministral 3 小模型，全部以 Apache 2.0 协议开源。
推荐理由：官方发布涵盖 Large 3 与 Ministral 3 全系的参数规模、开源协议和部署途径，读者可以据此判断各档模型适合的场景。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 AnyLanguageModel：为 Apple 平台统一本地与云端 LLM 的一个 API
Hugging Face 博客宣布 AnyLanguageModel，一个 Swift 包，作为 Apple Foundation Models 框架的 drop-in 替代，支持多模型供应商。
推荐理由：原文解释了为何以 Apple Foundation Models API 为模板设计，并给出换 import 即切换本地或云端模型的实际用法。
Hugging Face BlogAI 评分5151 IBM 发布 Granite 4.0 Nano 端侧小模型系列
IBM 发布 Granite 4.0 Nano，这是 Granite 4.0 家族中参数最小的模型，含 Granite 4.0 H 1B（约 1.5B）、Granite 4.0 H 350M（约 350M）及对应传统 transformer 版本，采用 Apache 2.0 许可。
Hugging Face BlogAI 评分77 Arm 将参加 PyTorch Conference，诚邀开发者参与多项现场活动
Arm 将于 10 月 22-23 日参加 PyTorch Conference，展示用 PyTorch 和 ExecuTorch 构建与部署 AI 应用的最新技术。
Hugging Face BlogAI 评分5656 Hugging Face 教程：用 Core ML 和 MLX 把 dots.ocr 转换到端侧运行
Hugging Face 发布三篇系列的第一部分，记录如何将 RedNote 的 3B 参数 OCR 模型 dots.ocr 转换为端侧运行。dots.ocr 由 1.2B 参数 NaViT 架构视觉编码器和 Qwen2.5-1.5B 主干组成，在 OmniDocBench 上超过 Gemini 2.5 Pro。
Hugging Face BlogAI 评分4646 在 Intel Core Ultra 上用深度剪枝草稿模型加速 Qwen3-8B Agent
Hugging Face 与 Intel 基于 OpenVINO 在 Intel Core Ultra 集成 GPU 上加速 Qwen3-8B：用 Qwen3-0.6B 作草稿模型的投机解码带来约 1.3× 提速，再从草稿模型 28 层中剪掉 6 层并用 Qwen3-8B 生成的 500k 提示词数据微调后，提速提升至约 1.4×。
Hugging Face BlogAI 评分4545 swift-transformers 发布 1.0 版本，未来将聚焦 MLX 与智能体场景
Hugging Face 的 Swift 库 swift-transformers 发布 1.0 版本，为开发者在 Apple Silicon 平台（含 iPhone）上运行本地 LLM 提供支持。
Hugging Face Blog精选AI 评分6767 Google 发布 EmbeddingGemma 高效多语言嵌入模型
Google 发布开源嵌入模型 EmbeddingGemma，308M 参数、2K 上下文窗口，支持超过 100 种语言，量化后内存占用低于 200 MB，适合端侧 RAG 和 Agent 场景。
推荐理由：官方博客给出架构、基准和各框架用法，还附完整微调示例，读者可以据此判断如何把它接入现有检索流程。
Hugging Face BlogAI 评分5858 Arm 与 ExecuTorch 0.7 将生成式 AI 带向大规模存量设备
Arm 宣布 ExecuTorch 0.7 beta 中 KleidiAI 默认启用，为 Arm CPU 设备带来自动加速，无需开发者改代码。
Hugging Face BlogAI 评分4343 Arm 发布 Neural Super Sampling（NSS）AI 超分辨率方案
Arm 发布面向图形与游戏开发的 AI 超分辨率方案 Neural Super Sampling（NSS），可在移动 GPU 的 Neural Accelerator 上实时运行。
Hugging Face BlogAI 评分3939 Arm CPU 上的实时 AI 音频生成：基于 Stable Audio Open 的个人创作工具
Arm 生态负责人 Michael Gamble 构建了一个在 Arm CPU 上本地运行的音频生成应用，无需 GPU 或云端推理。该应用基于 Stability AI 的 Stable Audio Open 模型（经 Hugging Face 获取），用 PyTorch 和 TorchAudio 执行推理，通过减少扩散步数（steps=7）和全线程利用实现数秒内生成。
Hugging Face BlogAI 评分4444 Dell Enterprise Hub 全新升级：一站式企业本地 AI 部署平台
Hugging Face 与 Dell 在 Dell Tech World 上发布新版 Dell Enterprise Hub，提供模型与应用套件，可在 Dell AI 服务器和 AI PC 上本地部署 AI。
Hugging Face BlogAI 评分5959 TII 发布 Falcon-H1 系列混合架构开源模型，覆盖 0.5B 至 34B 六种规模
TII 发布 Falcon-H1 系列开源模型，包含 0.5B、1.5B、1.5B-Deep、3B、7B、34B 六种规模及对应 instruct 版本，采用注意力与 Mamba-2 并行的混合架构，基于 Apache 2.0 类宽松许可。
Hugging Face BlogAI 评分5555 TII 发布 Falcon-Edge 系列 1.58bit 三值语言模型，含 1B 和 3B 两种规格
TII 发布基于 BitNet 架构的 Falcon-Edge 系列三值语言模型，提供 1B 和 3B 两种参数规模，各含 base 和 instruct 版本。
OpenAI News精选AI 评分7575 OpenAI 发布 GPT-4.1 系列 API 模型并推出首个 nano 模型
OpenAI 在 API 中发布 GPT-4.1 系列模型，在编码、指令遵循和长上下文理解方面有显著提升，同时发布其首个 nano 模型，即日起面向全球开发者开放。
推荐理由：官方宣布 GPT-4.1 系列上线 API，编码、指令遵循与长上下文能力全面提升，还推出了首个 nano 模型。
Mistral AI精选AI 评分6666 Mistral 发布 Mistral Small 3.1：多模态、128k 上下文、Apache 2.0 开源
Mistral AI 发布 Mistral Small 3.1，基于 Mistral Small 3 改进文本性能、增加多模态理解和 128k 上下文窗口，推理速度达 150 tokens 每秒。
推荐理由：官方给出基准对比、128k 上下文、单卡部署要求和开源下载入口，可据此评估其在小模型生态的定位。
Hugging Face Blog精选AI 评分8181 Google 发布开源多模态多语言长上下文模型 Gemma 3
Google 发布 Gemma 3 系列开源模型，提供 1B/4B/12B/27B 四种尺寸，4B 及以上支持图文输入和 140+ 种语言，上下文窗口扩展到 128K（1B 为 32K）。
推荐理由：文章梳理了 Gemma 3 各尺寸能力变化并给出 transformers、llama.cpp、MLX 的推理用法，便于判断上手方式。
Hugging Face Blog精选AI 评分6161 Hugging Face 教程：用 React Native 在手机上本地运行 LLM
Hugging Face 发布端侧推理教程，用 React Native、llama.rn（llama.cpp 绑定）和 react-native-fs 构建可从 Hub 下载 GGUF 模型并完全离线对话的移动应用，代码在 EdgeLLM 仓库。
推荐理由：教程讲解模型选择与 GGUF 量化差异，并用 llama.rn 完整走通端侧聊天应用，方法可直接复用。
Hugging Face Blog精选AI 评分6161 Hugging Face 发布 SmolVLM2，将视频理解带到 256M 到 2.2B 的设备上
Hugging Face 发布 SmolVLM2 系列，包含 2.2B、500M 和 256M 三种参数规模，主打让视频理解在手机到服务器等设备上运行。
推荐理由：官方发布三档小尺寸视频理解模型并给出端侧运行方案，读者可以据此评估轻量多模态模型在自己的设备上的可行性。
Hugging Face Blog精选AI 评分6161 Hugging Face 发布 SmolVLM-256M 与 SmolVLM-500M 小型视觉语言模型
Hugging Face 发布 SmolVLM 家族两款新模型 SmolVLM-256M 和 SmolVLM-500M，各含 base 与 instruct 共 4 个 checkpoint，其中 256M 为迄今最小的 VLM。
推荐理由：官方详述 256M/500M 两款小模型的视觉编码器、数据配比和 tokenization 改动，适合想在受限设备上跑多模态的读者参考选型。
Hugging Face Blog精选AI 评分7373 Hugging Face 发布 Transformers.js v3，新增 WebGPU 支持与更多模型架构
Hugging Face 发布 Transformers.js v3，经一年多开发后正式推出，WebGPU 加速可比 WASM 快至 100 倍，支持架构总数达 120 个，Hub 上预转换模型超过 1200 个。
推荐理由：官方发布说明给出 WebGPU 加速、量化选项和迁移方式，读者可以据此评估是否升级到 v3。
Mistral AI精选AI 评分6060 Mistral AI 发布 Ministral 3B 与 Ministral 8B 端侧模型
Mistral AI 在 Mistral 7B 发布一周年之际推出端侧模型 Ministral 3B 和 Ministral 8B，主打设备端与边缘场景，官方称两者在 sub-10B 级别的知识、常识、推理、function-calling 和效率上达到新水平。
推荐理由：官方公布了两个端侧模型的能力定位、上下文长度、API 定价与权重许可，读者可据此评估本地推理场景的选型。