Google Research 研究：AI 评测需要多少标注者才够？

Google Research 在《Forest vs Tree: The (N, K) Trade-off in Reproducible ML Evaluation》中研究了评测条目数与每条目标注者数的权衡，发现常用的每条目 1-5 名标注者往往不足，反映人类意见分歧常需超过 10 名标注者。