Hugging Face Blog·· 2022-09-16精选AI 评分60
用 DeepSpeed 和 Accelerate 实现极快的 BLOOM 推理
Incredibly Fast BLOOM Inference with DeepSpeed and Accelerate
AI 导读
Hugging Face 发布教程，展示如何用 DeepSpeed-Inference、Accelerate 和 DeepSpeed ZeRO 为 176B 参数的 BLOOM 模型做推理，并给出在 8x80GB A100 上的实测数据。
推荐理由
文章给出 BLOOM 176B 在多种并行与量化方案下的实测吞吐和显存占用，可作为大模型推理部署的选型参考。
来源：Hugging Face Blog · huggingface.co