跳到正文
原文
Hugging Face Blog·· 2026-07-23精选AI 评分66

Diffusers 原生集成 Nunchaku Lite,支持 4-bit SVDQuant 扩散模型推理

Bringing Nunchaku 4-bit Diffusion Inference to Diffusers

AI 导读

Hugging Face 宣布 Diffusers 原生支持 Nunchaku 的 SVDQuant 4-bit 推理,通过 Nunchaku Lite 集成路径直接用 from_pretrained() 加载量化 checkpoint,无需独立推理引擎或本地 CUDA 编译。

推荐理由

Diffusers 原生集成 Nunchaku,W4A4 量化在降显存的同时也降低推理延迟,是可复现的部署方案变化。

来源:Hugging Face Blog · huggingface.co