Hugging Face Blog·· 2024-04-30AI 评分52
Hugging Face 与 Dottxt 实验:结构化生成提升提示词一致性
Improving Prompt Consistency with Structured Generations
AI 导读
Hugging Face 的 Leaderboards and Evals 团队与 Dottxt 合作实验发现,结构化生成能减少提示词格式变化带来的评测方差。在 GSM8K 和 GPQA 上,使用 Outlines 约束输出结构后,Mistral-7B-v0.1 和 Zephyr-7B-beta 的分数方差降低,模型排名也更稳定。团队指出这仍需在更多模型和任务上验证。
来源:Hugging Face Blog · huggingface.co