Hugging Face Blog·· 2024-05-09AI 评分33
如何用 Intel Gaudi 2 与 Intel Xeon 构建低成本企业 RAG 应用
Building Cost-Efficient Enterprise RAG applications with Intel Gaudi 2 and Intel Xeon
AI 导读
Hugging Face 与 Intel 在 OPEA 框架下演示企业 RAG 应用构建:嵌入模型 BAAI/bge-base-en-v1.5 跑在 Xeon CPU(AMX-FP16 带来 2-3x 性能提升),LLM 经 TGI 服务跑在 Gaudi 2 加速器上,示例为 Intel/neural-chat-7b-v3-3。
来源:Hugging Face Blog · huggingface.co