Hugging Face Blog·· 2024-10-16AI 评分42
Hugging Face 修复 Transformers 梯度累积损失计算问题
Fixing Gradient Accumulation
AI 导读
Hugging Face 修复了 Transformers Trainer 中梯度累积与全批量训练损失不一致的问题,该问题由 Unsloth 团队报告。修复方案让默认损失函数在梯度累积时按所有非 padding token 总数计算损失,并新增 loss_function 属性与 LOSS_MAPPING,允许用户传入自定义损失函数。用户可从 main 分支安装以获取修复。
来源:Hugging Face Blog · huggingface.co