跳到正文
原文
Hugging Face Blog·· 2023-07-04AI 评分59

如何在 Hugging Face Inference Endpoints 上部署开源 LLM 并流式输出

Deploy LLMs with Hugging Face Inference Endpoints

AI 导读

Hugging Face 官方教程讲解用 Inference Endpoints 部署开源 LLM,以 tiiuae/falcon-40b-instruct 为例,建议改用 1x Nvidia A100 实例获得最佳性能,约 10 分钟后端点上线。

来源:Hugging Face Blog · huggingface.co