Hugging Face Blog·· 2022-07-27精选AI 评分62
用 TensorFlow 和 XLA 加速文本生成
Faster Text Generation with TensorFlow and XLA
AI 导读
Hugging Face 官方博客介绍,在 transformers 中用 TensorFlow 做文本生成现在可以通过 jit_compile=True 启用 XLA 编译,速度最高提升 100 倍,部分场景比 PyTorch 快 9 倍。
推荐理由
Hugging Face 官方给出 TensorFlow 文本生成接入 XLA 的一行改法与 padding 技巧,可迁移到实际推理加速。
来源:Hugging Face Blog · huggingface.co