Hugging Face Blog·· 2023-12-05AI 评分57
Hugging Face 与 AMD 实现 AMD GPU 开箱即用的大模型加速
AMD + 🤗: Large Language Models Out-of-the-Box Acceleration with AMD GPU
AI 导读
Hugging Face 与 AMD 公布合作进展,Transformers 模型无需改动代码即可在 AMD Instinct GPU 上运行,并已支持 Flash Attention v2、Paged Attention、DeepSpeed、GPTQ 等加速与量化方案。
来源:Hugging Face Blog · huggingface.co