Hugging Face Blog·· 2024-03-15AI 评分59
用 Optimum Intel 和 fastRAG 在 CPU 上优化 BGE 嵌入模型
CPU Optimized Embeddings with 🤗 Optimum Intel and fastRAG
AI 导读
Hugging Face 博客介绍如何用 Optimum Intel、Intel Neural Compressor 和 IPEX 将 BGE small/base/large 嵌入模型量化为 int8 并在 Intel Xeon 上加速。
来源：Hugging Face Blog · huggingface.co