Hugging Face 推出 TorchNeuron,让模型在 AWS Trainium 上原生运行
Hugging Face 发布 TorchNeuron,为 PyTorch 在 AWS Trainium 上提供原生后端,Transformers、Diffusers 和 Kernels 直接支持,10 月 20 日起以公开 beta 形式提供,可通过 pip install torch-neuronx 安装。
推荐理由:原文给出 Trainium 原生后端在 Transformers、Diffusers、TRL 中的支持范围与迁移方式,可据此判断现有训练推理脚本的改动量。