跳到正文
原文
AWS Machine Learning Blog· Josh Longenecker·· 3 小时前AI 评分36

在 AWS Trainium 上用 torchtitan 训练 Qwen3

Train Qwen3 on AWS Trainium with torchtitan

AI 导读

在单台 trn2.48xlarge 上,torchtitan 可通过 TorchNeuron 将 Trainium 注册为原生 PyTorch 设备,并以三种方式训练 Qwen3-4B-Instruct-2507:Transformers v5 后端、torchtitan 原生 Qwen3 实现,以及叠加 NKI MoE kernel。

来源:AWS Machine Learning Blog · aws.amazon.com