Hugging Face Blog·· 2023-07-04AI 评分59
如何在 Hugging Face Inference Endpoints 上部署开源 LLM 并流式输出
Deploy LLMs with Hugging Face Inference Endpoints
AI 导读
Hugging Face 官方教程讲解用 Inference Endpoints 部署开源 LLM,以 tiiuae/falcon-40b-instruct 为例,建议改用 1x Nvidia A100 实例获得最佳性能,约 10 分钟后端点上线。
来源:Hugging Face Blog · huggingface.co