Hugging Face Blog·· 2023-05-11精选AI 评分62
Hugging Face 提出辅助生成：低延迟文本生成新方法
Assisted Generation: a new direction toward low-latency text generation
AI 导读
Hugging Face 发布辅助生成（assisted generation）方法，用一个比主模型小一个数量级、且共享同一 tokenizer 的助手模型先草拟候选 token，再由主模型一次前向验证，从而减少前向次数。
推荐理由
Hugging Face 官方给出辅助生成方法的原理与实测数据，读者可据此判断它是否适合自己现有的推理部署。
来源：Hugging Face Blog · huggingface.co