Hugging Face Blog·· 2024-07-18精选AI 评分60
TGI 推出 Multi-LoRA serving，一次部署可服务多个微调模型
TGI Multi-LoRA: Deploy Once, Serve 30 Models
AI 导读
Hugging Face 在 TGI 中推出 Multi-LoRA serving，只部署一次基座模型 mistralai/Mistral-7B-v0.1，即可按请求动态选择 LoRA 适配器，一次部署相当于服务多个微调模型。
推荐理由
原文给出部署步骤、显存开销和成本对比数据，读者可以据此评估一次部署服务多个微调模型是否适合自己的场景。
来源：Hugging Face Blog · huggingface.co