Hugging Face Blog·· 2024-03-18精选AI 评分61
Hugging Face 发布 Quanto：面向 Optimum 的 PyTorch 量化后端
Quanto: a PyTorch quantization backend for Optimum
AI 导读
Hugging Face 推出 quanto，一个面向 Optimum 的 PyTorch 量化后端，支持 int2/int4/int8 和 float8 权重、int8 和 float8 激活，可在 CUDA、MPS 等任意设备上运行。
推荐理由
原文给出 Quanto 的量化能力边界、完整工作流和 transformers 集成方式，读者可直接照此把 float 模型转到低精度部署。
来源：Hugging Face Blog · huggingface.co