基于 FHE 走向加密大语言模型：在 Hugging Face transformers 上加密运行 GPT2

Zama 提出用全同态加密（FHE）解决 LLM 隐私问题，让用户数据和模型 IP 同时得到保护。团队基于 Hugging Face transformers 库改写 GPT2 的多头注意力层，用 Concrete-Python 将推理部分转换为 FHE 等价实现，非线性函数通过 PBS（可编程自举）完成。实验表明 4-bit 量化下模型在约 80 句的数据集上保持 96% 的原始预测精度。