Hugging Face Blog·· 2024-07-22精选AI 评分60
WWDC 24:用 Core ML 在 Mac 上运行 Mistral 7B
WWDC 24: Running Mistral 7B with Core ML
AI 导读
Hugging Face 发布教程,介绍如何借助 WWDC 24 的 Core ML 新特性在 Mac 上运行 Mistral 7B,并用不到 4GB 内存完成推理。
推荐理由
Hugging Face 团队给出把 Mistral 7B 转成 Core ML 并跑在 Mac 上的完整步骤,可据此复现端侧部署流程。
来源:Hugging Face Blog · huggingface.co