跳到正文
原文
Hugging Face Blog·· 2024-09-20AI 评分40

如何用 Optimum-Intel 和 OpenVINO GenAI 优化并部署 Transformers 模型

Optimize and deploy with Optimum-Intel and OpenVINO GenAI

AI 导读

Hugging Face 指导如何用 Optimum-Intel 和 OpenVINO GenAI 优化并部署 Transformers 模型,以 meta-llama/Meta-Llama-3.1-8B 为例,通过 NNCF 进行 INT8/INT4 weight-only 量化(如 AWQ、scale estimation、混合精度)。

来源:Hugging Face Blog · huggingface.co