跳到正文
原文
Hugging Face Blog·· 5 小时前AI 评分58

Ai2 发布 FairStress 基准,评测 LLM 决策公平性在对抗前缀下的稳定性

FairStress: A deeper evaluation of fairness in LLM decision-making

AI 导读

Ai2 发布 FairStress 基准,用于衡量 LLM 在招聘、贷款、医疗等决策中的群体公平性,不止看最终选择,还看模型面对对抗前缀时是否同样容易改判。该基准含 300 个双候选人场景、29 个领域,组合身份呈现方式与对抗前缀后扩展出超 1300 万个测试用例,并另提供 5 万条的 FairStress-Core 子集。

来源:Hugging Face Blog · huggingface.co