Hugging Face Blog·· 2024-10-08AI 评分52
Intel Labs 与 Hugging Face 提出动态推测解码，加速文本生成最高 2.7 倍
Faster Assisted Generation with Dynamic Speculation
AI 导读
Intel Labs 与 Hugging Face 提出动态推测解码（dynamic speculative decoding），根据草稿模型对每个 token 的置信度动态调整推测前瞻长度，最高可加速文本生成 2.7 倍。
来源：Hugging Face Blog · huggingface.co