Hugging Face Blog·· 2023-05-24精选AI 评分78
Hugging Face 集成 bitsandbytes 4bit 量化与 QLoRA，降低 LLM 使用门槛
Making LLMs even more accessible with bitsandbytes, 4-bit quantization and QLoRA
AI 导读
Hugging Face 与 bitsandbytes 合作，在 transformers 中支持 4bit 量化加载，并集成 Dettmers 等人新提出的 QLoRA 微调方法。
推荐理由
官方详细讲解 transformers 中 4bit 量化和 QLoRA 的用法与配置，附带在消费级 GPU 上微调 Llama 7B/13B 的实测结果。
来源：Hugging Face Blog · huggingface.co