跳到正文
原文
Hugging Face Blog·· 2025-09-29AI 评分31

在 Intel Core Ultra 上用深度剪枝草稿模型加速 Qwen3-8B 智能体

Accelerating Qwen3-8B Agent on Intel® Core™ Ultra with Depth-Pruned Draft Models

AI 导读

Hugging Face 用 OpenVINO.GenAI 在 Intel Core Ultra 上为 Qwen3-8B 智能体做推测解码加速,以 Qwen3-0.6B 为草稿模型先取得约 1.3× 提速,再通过剪掉 28 层中的 6 层并用 Qwen3-8B 生成的合成数据微调,将提速提升至约 1.4×。

来源:Hugging Face Blog · huggingface.co