跳到正文
原文
Hugging Face Blog·· 2022-07-27精选AI 评分62

用 TensorFlow 和 XLA 加速文本生成

Faster Text Generation with TensorFlow and XLA

AI 导读

Hugging Face 官方博客介绍,在 transformers 中用 TensorFlow 做文本生成现在可以通过 jit_compile=True 启用 XLA 编译,速度最高提升 100 倍,部分场景比 PyTorch 快 9 倍。

推荐理由

Hugging Face 官方给出 TensorFlow 文本生成接入 XLA 的一行改法与 padding 技巧,可迁移到实际推理加速。

来源:Hugging Face Blog · huggingface.co