Hugging Face Blog·· 2023-12-05AI 评分50
Hugging Face 如何让 LoRA 推理提速 300%，告别冷启动
Goodbye cold boot - how we made LoRA Inference 300% faster
AI 导读
Hugging Face 在 Inference API 中实现 LoRA 适配器动态加载/卸载，保持基础模型常驻，使 Hub 上公开 Diffusion 模型的 LoRA 推理大幅提速。
来源：Hugging Face Blog · huggingface.co