Alyah ⭐️：面向阿拉伯语 LLM 阿联酋方言能力的稳健评测基准
Hugging Face 博客介绍阿联酋方言评测基准 Alyah，含 1,173 条由阿联酋母语者手工采集的样本，每题四选一。团队评测了 54 个语言模型（23 个基座、31 个指令微调），覆盖 Jais、Allam、Qwen、LLaMA、Fanar、AceGPT 等，基座模型中 google/gemma-3-27b-pt 以 74.68 准确率居首。
#评测/基准
#评测/基准
今日 1 条Hugging Face BlogAI 评分2222
Hugging Face BlogAI 评分3434 AssetOpsBench：弥合 AI 智能体基准与工业现实之间的差距
Hugging Face 发布 AssetOpsBench，一个面向工业资产全生命周期管理的智能体评测基准，包含 2.3M 传感器遥测点、140+ 场景、4.2K 工单和 53 种结构化故障模式。
Hugging Face BlogAI 评分4141 NVIDIA 发布 Nemotron 3 Nano 30B A3B，用 NeMo Evaluator 公开完整评测配方
NVIDIA 发布 Nemotron 3 Nano 30B A3B，并公开其完整评测配方，基于开源库 NeMo Evaluator 构建，任何人可复跑评测流程并独立核查结果。
OpenAI NewsAI 评分3838 OpenAI 推出 FrontierScience 基准，评估 AI 科研推理能力
OpenAI 发布 FrontierScience 基准，用于测试 AI 在物理、化学和生物学领域的推理能力，衡量其向真实科学研究迈进的进展。
Google DeepMindAI 评分4040 Google DeepMind 与 Kaggle 推出 FACTS Benchmark Suite，系统评估大语言模型事实准确性
Google DeepMind 联合 Kaggle 发布 FACTS Benchmark Suite，在原有 FACTS Grounding 基础上新增 Parametric、Search、Multimodal 三项基准，并将 Grounding 升级至 v2，共含 3,513 个公开样例。
Google ResearchAI 评分3636 Google 发布 MSEB：面向听觉智能的大规模声音嵌入基准
Google Research 在 NeurIPS 2025 发布 Massive Sound Embedding Benchmark（MSEB），用于标准化评测声音嵌入模型的八项听觉能力，涵盖检索、推理、分类、转录、分割、聚类、重排与重建。
Hugging Face BlogAI 评分3434 Hugging Face Open ASR Leaderboard 新增多语言与长音频赛道，并发布 60+ 模型趋势预印本
Hugging Face 的 Open ASR Leaderboard 新增多语言与长音频转录赛道，并发布覆盖 60+ 模型、18 家机构、11 个数据集的 ASR 趋势预印本。Conformer 编码器加 LLM 解码器在英语转录准确率上领先，CTC/TDT 解码器吞吐量快 10–100 倍；多语言仍以 Whisper Large v3 为强基线，长音频则闭源系统暂时领先。
OpenAI NewsAI 评分1515 OpenAI 解读 evals 如何推动企业 AI 进入下一阶段
OpenAI 发文阐述 evals 如何帮助企业定义、衡量并改进 AI 表现，从而降低风险、提升生产力并形成战略优势。文章面向企业场景，说明 evals 在 AI 性能管理中的作用。
OpenAI NewsAI 评分2727 OpenAI 推出 IndQA：面向印度语言的 AI 评测基准
OpenAI 发布 IndQA，一个用于评估 AI 系统印度语言能力的新基准，覆盖 12 种语言和 10 个知识领域，由领域专家参与构建，重点考察文化理解与推理能力。
Hugging Face BlogAI 评分4848 BigCodeArena：通过代码执行端到端评判代码生成
Hugging Face 推出 BigCodeArena，这是首个通过实际执行代码来评估代码生成模型的人类参与平台，支持 10 种语言和 8 种执行环境，可实时运行模型生成的代码并投票。
Hugging Face BlogAI 评分3838 Hugging Face 推出 RTEB：面向真实场景的检索嵌入基准测试
Hugging Face 发布 Retrieval Embedding Benchmark（RTEB）beta 版，用公开与私有数据集混合的方式评估嵌入模型的真实检索准确率。RTEB 覆盖 20 种语言及法律、医疗、代码、金融等领域，默认榜单指标为 NDCG@10，私有数据集由 MTEB 维护者评测以防过拟合。
OpenAI NewsAI 评分4242 OpenAI 推出 GDPval：在 44 个职业的真实经济任务上评测模型表现
OpenAI 推出 GDPval，一个衡量模型在真实世界、有经济价值任务上表现的新评测，覆盖 44 个职业。该评测用于评估模型在实际工作任务中的能力，而非传统学术基准。
Hugging Face Blog精选AI 评分6262 Meta 发布 Gaia2 智能体基准与 ARE 研究环境
Meta 发布 GAIA 后续智能体基准 Gaia2，并开源配套的 Meta Agents Research Environments（ARE）框架，用于运行、调试和评测智能体。
推荐理由：GAIA 后续基准 Gaia2 与 Meta ARE 环境同时开源，读者可了解智能体在噪声、时间与歧义场景下的评测方式。
Hugging Face BlogAI 评分2222 FilBench：LLM 能否理解并生成菲律宾语？
Hugging Face 发布 FilBench 评测套件，覆盖 Tagalog、Filipino 和 Cebuano 三种菲律宾语言，包含文化知识、经典 NLP、阅读理解、生成四大类共 12 项任务，并已评测 20+ 个 SOTA LLM。
Hugging Face BlogAI 评分3535 TextQuests：LLM 玩文字冒险游戏表现如何？
Hugging Face 发布 TextQuests 基准，基于 25 款经典 Infocom 互动小说游戏，用于评估 LLM 作为自主智能体的长上下文推理与探索学习能力。
Hugging Face BlogAI 评分3636 NVIDIA AI-Q 蓝图基于 Llama Nemotron 登顶 DeepResearch Bench 开源榜首
NVIDIA 的 AI-Q Blueprint 在 DeepResearch Bench 的 Hugging Face "LLM with Search" 榜单上以 40.52 分登顶，成为得分最高的完全开源许可方案。
Hugging Face BlogAI 评分2222 Hugging Face 发布 3LM：面向阿拉伯语 LLM 的 STEM 与代码基准
Hugging Face 推出 3LM（علم）基准，用于评估阿拉伯语 LLM 在 STEM 与代码生成上的表现，包含 865 道原生 STEM 选择题、1744 道合成高难度选择题，以及翻译自 HumanEval+ 和 MBPP+ 的阿拉伯语代码任务。
Hugging Face BlogAI 评分4545 TimeScope：你的视频大模型能看多长的视频？
Hugging Face 开源长视频理解基准 TimeScope，通过在 1 分钟至 8 小时的视频中插入 5-10 秒的"针"片段，评测模型的局部检索、信息综合与细粒度时序感知三项能力。测试显示，包括 Gemini 2.5-Pro 在内的领先视觉语言模型在真正的长视频任务上仍表现吃力，性能随视频变长明显下滑。
Hugging Face BlogAI 评分4040 Hugging Face 推出 FutureBench：评估 AI 智能体预测未来事件的能力
Hugging Face 发布 FutureBench，用真实预测市场和新闻生成的问题评估 AI 智能体预测未来事件的能力。该基准通过基于 smolagents 的智能体抓取新闻生成预测问题，并接入 Polymarket 数据，每周约摄入 8 个问题，采用 DeepSeek-V3 生成问题、Firecrawl 抓取内容、Tavily 补充搜索。
Hugging Face BlogAI 评分2222 Hugging Face 公布 NeurIPS 2025 E2LM 竞赛：评估大语言模型早期训练
Hugging Face 上线 NeurIPS 2025 E2LM 竞赛，面向 LLM 早期训练阶段（约 200B tokens 以内）构建科学知识领域的评测基准，参赛者需基于 lm-evaluation-harness 通过 HuggingFace Space 提交方案。
Hugging Face BlogAI 评分4848 Hugging Face 研究：CodeAgents 结合结构化生成可提升智能体表现
Hugging Face 研究发现，强制 CodeAgent 以结构化 JSON 格式同时生成 thoughts 和 code，在 GAIA、MATH、SimpleQA、Frames 等基准上平均比普通 CodeAgent 高出 2-7 个百分点。
OpenAI NewsAI 评分4242 OpenAI 发布 HealthBench：面向医疗 AI 的评估基准
OpenAI 推出医疗 AI 评估基准 HealthBench，在真实场景中评测模型表现。该基准由 250+ 位医生参与构建，旨在为医疗领域的模型性能与安全性提供统一标准。
Hugging Face BlogAI 评分3939 HELMET：全面评估长上下文语言模型的基准
Hugging Face 博客介绍 HELMET（How to Evaluate Long-Context Models Effectively and Thoroughly），一个从多样性、可控性和可靠性三方面改进现有方案的长上下文语言模型评测基准，已评估 59 个近期 LCLM。
OpenAI NewsAI 评分3131 OpenAI 发布 BrowseComp：面向浏览智能体的基准测试
OpenAI 推出 BrowseComp，一个用于评估浏览智能体（browsing agents）的基准测试。该基准旨在衡量智能体在网页浏览任务中的表现。
Mistral AIAI 评分2222 Mistral 如何用 LLM As A Judge 评估 RAG 系统
Mistral 提出用 LLM As A Judge 结合 RAG Triad 框架评估 RAG 系统，从上下文相关性、有据性和答案相关性三个维度打分。其 API 新增的结构化输出功能可定义评分 schema，让评判 LLM 输出机器可读的分数，从而构建更可靠的自动化评估流程。
Hugging Face BlogAI 评分2222 Hugging Face 与 MBZUAI 推出 Arabic-Leaderboards，新增阿拉伯语指令遵循评测
Hugging Face 与 MBZUAI 合作推出 Arabic-Leaderboards 统一评测平台，目前上线 AraGen-03-25 和 Arabic Instruction Following 两个榜单。
OpenAI NewsAI 评分3737 OpenAI 发布 PaperBench：评估 AI 智能体复现前沿 AI 研究的能力
OpenAI 推出 PaperBench，用于评估 AI 智能体复现前沿 AI 研究的能力。该基准衡量智能体能否从零复现 state-of-the-art AI 研究，具体评测细节与结果尚未在原文中披露。
OpenAI NewsAI 评分5757 OpenAI 推出 SWE-Lancer 基准
OpenAI 发布 SWE-Lancer 基准，用于评估前沿 LLM 能否完成真实自由职业软件工程任务并赚取 100 万美元。该基准以真实项目为测试对象，衡量模型在实际软件工程工作中的表现。
Hugging Face Blog精选AI 评分6060 Hugging Face 用 Math-Verify 重评 Open LLM Leaderboard 全部 3,751 个模型
Hugging Face 用 Math-Verify 替换旧评测器，重新评估了 Open LLM Leaderboard 上提交过的全部 3,751 个模型。旧评测器因答案格式、SymPy 解析和答案比对问题误判正确答案，替换后模型平均多解出 61 道题，MATH 子集平均提升 4.66 分，Algebra 与 Prealgebra 分别提升 8.27 和 6.93 分。
推荐理由：原文给出评测器替换前后的具体差异与榜单变化，读者可据此判断数学评测口径对模型排名的影响。
Hugging Face BlogAI 评分3131 Hugging Face 发布 Open Arabic LLM Leaderboard 2
Hugging Face 联合 2A2I、TII 推出 Open Arabic LLM Leaderboard 2，升级阿拉伯语大模型评测榜。首版上线不到 7 个月吸引超 46,000 名访客，收到 700 多个模型提交，参数规模从 1B 到 70B 以上，来自 180 多个机构，其中超 70% 为 chat 与微调模型，11% 为预训练模型。
Hugging Face BlogAI 评分3636 Adyen 与 Hugging Face 联合发布 DABstep：多步推理数据智能体基准
Adyen 与 Hugging Face 联合推出 DABstep（Data Agent Benchmark for Multi-step Reasoning），包含 450+ 个源自 Adyen 真实业务的数据分析任务，用于评测 LLM 与 AI 智能体的多步推理能力。
Hugging Face BlogAI 评分3434 Hugging Face 开放 LLM 排行榜揭示 CO₂ 排放与模型性能关系
Hugging Face 在 Open LLM Leaderboard 上为 2742 个模型加入推理 CO₂ 排放估算，发现模型越大排放越高但排行榜得分增长递减，MoE 模型的得分排放比普遍偏低。社区微调模型比其官方基座更低碳，Qwen-2.5-14B 与 Phi-3-Medium 的得分排放比最佳。
Hugging Face BlogAI 评分4747 Artificial Analysis 发布 Big Bench Audio，评估音频推理能力
Artificial Analysis 发布 Big Bench Audio 音频推理评测数据集，包含 1000 道来自 Big Bench Hard 四个类别的音频题目。
Hugging Face BlogAI 评分3434 LLM 修复自身错误的能力如何？一项基于 Keras 和 TPU 的 chatbot arena 实验
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个 chatbot arena，测试 LLM 在被指出错误后能否修正代码。实验在 TPU v5e 2x4 上以 bfloat16 同时加载了 5 个约 8B 参数模型和 3 个约 2B 参数模型，共 7 个 LLM，通过 Gradio 界面并行对话。
Hugging Face BlogAI 评分2222 Hugging Face 推出 AraGen：基于 3C3H 的阿拉伯语 LLM 生成式基准与排行榜
Hugging Face 发布面向阿拉伯语 LLM 的生成式任务基准与排行榜 AraGen，采用新的 3C3H 评估指标，从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度基于 LLM-as-judge 打分。
Hugging Face BlogAI 评分3636 Hugging Face 与 LLM-jp 联合发布日语 LLM 开放排行榜
Hugging Face 与 LLM-jp 联合推出 Open Japanese LLM Leaderboard，用 llm-jp-eval 评测套件覆盖 16 项任务，从自然语言推理、机器翻译、摘要、问答到代码生成、数学推理和人类考试，均以 4-shot 方式运行。
Hugging Face BlogAI 评分4040 BAAI 推出 FlagEval Debate：首个多语言 LLM 辩论竞赛平台
BAAI 推出 FlagEval Debate 平台，让大模型以辩论方式互相对抗，目前支持英语、中文、阿拉伯语和韩语四种语言的辩论竞赛。该平台采用专家评审与用户投票的双重评估机制，并允许开发者自定义模型参数与对话风格，以解决静态评测和 Chatbot Arena 等平台缺乏区分度、模型孤立生成及投票偏差等问题。2024 年 Q3 的实验显示，当前大多数模型都能参与辩论。
Hugging Face BlogAI 评分5050 Hugging Face 推出 Judge Arena：用众包投票评测 LLM 作为评估者的能力
Hugging Face 上线 Judge Arena，让用户对两个 LLM 评委的评分和评语进行盲投，投票结果汇总为按小时更新的 Elo 排行榜。平台首批纳入 18 个模型，涵盖 GPT-4o、GPT-4 Turbo、Claude 3.5 Sonnet、Llama 3.1 405B/70B/8B、Qwen 2.5 7B/72B 等开源与闭源模型。
OpenAI NewsAI 评分2727 OpenAI 推出 SimpleQA 事实性基准
OpenAI 发布事实性基准 SimpleQA，用于衡量语言模型回答简短事实型问题的能力。该基准聚焦短小、寻求事实的提问，评估模型的事实准确性。
Hugging Face BlogAI 评分2222 Digital Green 用 LLM-as-a-Judge 强化 Farmer.chat 的 RAG 应用
Digital Green 在 CGIAR 主导的 GAIA 项目中为农业问答机器人 Farmer.chat 搭建了 LLM-as-a-Judge 评测体系，用于评估其 RAG 管线的回答质量。