跳到正文
原文
Hugging Face Blog·· 2025-07-09AI 评分34

Hugging Face 与 AMD 为 MI300X 打造自定义内核,优化 Llama 3.1 405B FP8 推理

Creating custom kernels for the AMD MI300

AI 导读

Hugging Face 与 AMD 合作,为 AMD MI300X 编写自定义内核,在 8 卡 MI300X 节点上用 VLLM 服务 Llama 3.1 405B FP8 时取得显著加速。

来源:Hugging Face Blog · huggingface.co