Hugging Face Blog·· 2025-07-09AI 评分34
Hugging Face 与 AMD 为 MI300X 打造自定义内核,优化 Llama 3.1 405B FP8 推理
Creating custom kernels for the AMD MI300
AI 导读
Hugging Face 与 AMD 合作,为 AMD MI300X 编写自定义内核,在 8 卡 MI300X 节点上用 VLLM 服务 Llama 3.1 405B FP8 时取得显著加速。
来源:Hugging Face Blog · huggingface.co