Hugging Face Blog·· 2023-11-07AI 评分45
如何用 AWS Inferentia2 加速 Llama 2 文本生成
Make your llama generation time fly with AWS Inferentia2
AI 导读
Hugging Face 宣布 🤗 optimum-neuron 已支持在 AWS Inferentia2 上部署 LLM 进行文本生成，并以 Llama 2 7B 和 13B 为例演示。
来源：Hugging Face Blog · huggingface.co