Hugging Face Blog·· 2023-12-05精选AI 评分62
Hugging Face 发布 Optimum-NVIDIA，一行代码加速 LLM 推理
Optimum-NVIDIA Unlocking blazingly fast LLM inference in just 1 line of code
AI 导读
Hugging Face 发布 Optimum-NVIDIA 推理库，只需把 transformers 的 pipeline 导入改成 optimum.nvidia 一行代码，即可在 NVIDIA 平台上获得最高 28 倍吞吐和 1200 tokens/秒，首 token 延迟最高降低 3.3 倍。
推荐理由
原文给出单行代码替换即可获得最高 28 倍吞吐的量化数据，读者可据此判断现有 LLaMA 推理流程的改造成本。
来源：Hugging Face Blog · huggingface.co