如何在单张 AMD GPU 上用 ROCm 运行类 ChatGPT 聊天机器人 Vicuna 13B

Hugging Face 发布教程，讲解如何用 ROCm 在单张 AMD GPU 上运行 4-bit GPTQ 量化的 Vicuna-13B 模型。经 RX6900XT（16GB 显存）实测，量化模型仅需 7.52GB 显存，而 fp16 需超过 28GB，延迟与精度损失极小。