跳到正文
原文
Hugging Face Blog·· 2026-09-02AI 评分36

Hugging Face 推出 BenchMIRT:审计 LLM benchmark 到底在测什么

BenchMIRT: What are LLM benchmarks actually measuring?

AI 导读

Hugging Face 发布 BenchMIRT,一种在单条 prompt 层面审计 LLM benchmark 的多维 IRT 方法,基于 100 个 LLM、16 个 benchmark、超 34K 道题训练,在未被告知各 benchmark 测什么的情况下自行恢复出安全与通用推理两个主导维度。

来源:Hugging Face Blog · huggingface.co