Hugging Face Blog·· 2024-09-20AI 评分40
如何用 Optimum-Intel 和 OpenVINO GenAI 优化并部署 Transformers 模型
Optimize and deploy with Optimum-Intel and OpenVINO GenAI
AI 导读
Hugging Face 指导如何用 Optimum-Intel 和 OpenVINO GenAI 优化并部署 Transformers 模型,以 meta-llama/Meta-Llama-3.1-8B 为例,通过 NNCF 进行 INT8/INT4 weight-only 量化(如 AWQ、scale estimation、混合精度)。
来源:Hugging Face Blog · huggingface.co