Hugging Face Blog·· 2024-03-20AI 评分40
在 Intel Meteor Lake 笔记本上运行 Phi-2：基于 OpenVINO 的 4-bit 量化实践
A Chatbot on your Laptop: Phi-2 on Intel Meteor Lake
AI 导读
Hugging Face 与 Intel 合作，通过 Optimum Intel 集成 OpenVINO，将微软 2.7B 参数的 Phi-2 模型做 4-bit 权重量化，在一台搭载 Core Ultra 7 155H 的中端笔记本上实现本地推理。
来源：Hugging Face Blog · huggingface.co