跳到正文
原文
Hugging Face Blog·· 2023-12-01AI 评分38

Open LLM Leaderboard 的 DROP 基准深度排查

Open LLM Leaderboard: DROP deep dive

AI 导读

Hugging Face 对 Open LLM Leaderboard 新增的 DROP 基准进行深度排查,发现绝大多数模型 f1-score 低于 10 分。原因包括归一化步骤在数字后跟非空格空白字符时失效,以及用「.」作为停止词会截断浮点答案、让高质量模型因生成过长而得分更低。改用「\n」作为停止词后,分数与整体表现的相关性明显改善。

来源:Hugging Face Blog · huggingface.co