Hugging Face Blog·· 2023-12-05精选AI 评分62
Hugging Face 如何让 LoRA 推理提速 300%：告别冷启动
Goodbye cold boot - how we made LoRA Inference 300% faster
AI 导读
Hugging Face 在 Inference API 中实现 LoRA 动态加载，让基础模型保持常驻、按请求即时加载和卸载 LoRA 适配器，把冷启动时间从 25 秒降到 3 秒，用户请求响应时间从 35 秒降到 13 秒。
推荐理由
Hugging Face 公开了 LoRA 动态加载的实现细节与实测数据，读者可据此判断多 LoRA 共享部署的可行性与代价。
来源：Hugging Face Blog · huggingface.co