Zama 用 FHE 加密大语言模型：GPT2 单注意力头密文推理保持 96% 精度

Zama 基于 Hugging Face transformers 库，用全同态加密（FHE）改造 GPT2，让部分推理在加密数据上运行，兼顾用户隐私与模型 IP。实验显示，权重与激活值采用 4-bit 量化时，加密后的单个注意力头仍保持原模型 96% 的精度。实现借助 Concrete-Python 将 Python 函数转为 FHE 等价形式，客户端本地推理至首层后加密中间结果交由服务器计算。