在 Intel Xeon 上用 🤗 Optimum Intel 加速 StarCoder：Q8/Q4 量化与投机解码

Hugging Face 联合 Intel 在第四代 Xeon 上通过 8bit/4bit 量化与辅助生成，让 StarCoder-15B 推理加速超过 7 倍。其中 Q8-StarCoder 在 HumanEval 上精度无损，TTFT 与 TPOT 分别提速约 2.19 倍和 2.20 倍；4bit 权重量化进一步压缩模型体积，相关 demo 已上线 Hugging Face Spaces。