NVIDIA AI-Q 蓝图基于 Llama Nemotron 登顶 DeepResearch Bench 开源榜首
NVIDIA 的 AI-Q Blueprint 在 DeepResearch Bench 的 Hugging Face "LLM with Search" 榜单上以 40.52 分登顶，成为得分最高的完全开源许可方案。
#评测/基准
#评测/基准
今日 2 条Hugging Face BlogAI 评分3636
Hugging Face BlogAI 评分2222 Hugging Face 发布 3LM：面向阿拉伯语 LLM 的 STEM 与代码基准
Hugging Face 推出 3LM（علم）基准，用于评估阿拉伯语 LLM 在 STEM 与代码生成上的表现，包含 865 道原生 STEM 选择题、1744 道合成高难度选择题，以及翻译自 HumanEval+ 和 MBPP+ 的阿拉伯语代码任务。
Hugging Face BlogAI 评分4545 TimeScope：你的视频大模型能看多长的视频？
Hugging Face 开源长视频理解基准 TimeScope，通过在 1 分钟至 8 小时的视频中插入 5-10 秒的"针"片段，评测模型的局部检索、信息综合与细粒度时序感知三项能力。测试显示，包括 Gemini 2.5-Pro 在内的领先视觉语言模型在真正的长视频任务上仍表现吃力，性能随视频变长明显下滑。
Hugging Face BlogAI 评分4040 Hugging Face 推出 FutureBench：评估 AI 智能体预测未来事件的能力
Hugging Face 发布 FutureBench，用真实预测市场和新闻生成的问题评估 AI 智能体预测未来事件的能力。该基准通过基于 smolagents 的智能体抓取新闻生成预测问题，并接入 Polymarket 数据，每周约摄入 8 个问题，采用 DeepSeek-V3 生成问题、Firecrawl 抓取内容、Tavily 补充搜索。
Hugging Face BlogAI 评分2222 Hugging Face 公布 NeurIPS 2025 E2LM 竞赛：评估大语言模型早期训练
Hugging Face 上线 NeurIPS 2025 E2LM 竞赛，面向 LLM 早期训练阶段（约 200B tokens 以内）构建科学知识领域的评测基准，参赛者需基于 lm-evaluation-harness 通过 HuggingFace Space 提交方案。
Hugging Face BlogAI 评分4848 Hugging Face 研究：CodeAgents 结合结构化生成可提升智能体表现
Hugging Face 研究发现，强制 CodeAgent 以结构化 JSON 格式同时生成 thoughts 和 code，在 GAIA、MATH、SimpleQA、Frames 等基准上平均比普通 CodeAgent 高出 2-7 个百分点。
OpenAI NewsAI 评分4242 OpenAI 发布 HealthBench：面向医疗 AI 的评估基准
OpenAI 推出医疗 AI 评估基准 HealthBench，在真实场景中评测模型表现。该基准由 250+ 位医生参与构建，旨在为医疗领域的模型性能与安全性提供统一标准。
Hugging Face BlogAI 评分3939 HELMET：全面评估长上下文语言模型的基准
Hugging Face 博客介绍 HELMET（How to Evaluate Long-Context Models Effectively and Thoroughly），一个从多样性、可控性和可靠性三方面改进现有方案的长上下文语言模型评测基准，已评估 59 个近期 LCLM。
OpenAI NewsAI 评分3131 OpenAI 发布 BrowseComp：面向浏览智能体的基准测试
OpenAI 推出 BrowseComp，一个用于评估浏览智能体（browsing agents）的基准测试。该基准旨在衡量智能体在网页浏览任务中的表现。
Mistral AIAI 评分2222 Mistral 如何用 LLM As A Judge 评估 RAG 系统
Mistral 提出用 LLM As A Judge 结合 RAG Triad 框架评估 RAG 系统，从上下文相关性、有据性和答案相关性三个维度打分。其 API 新增的结构化输出功能可定义评分 schema，让评判 LLM 输出机器可读的分数，从而构建更可靠的自动化评估流程。
Hugging Face BlogAI 评分2222 Hugging Face 与 MBZUAI 推出 Arabic-Leaderboards，新增阿拉伯语指令遵循评测
Hugging Face 与 MBZUAI 合作推出 Arabic-Leaderboards 统一评测平台，目前上线 AraGen-03-25 和 Arabic Instruction Following 两个榜单。
OpenAI NewsAI 评分3737 OpenAI 发布 PaperBench：评估 AI 智能体复现前沿 AI 研究的能力
OpenAI 推出 PaperBench，用于评估 AI 智能体复现前沿 AI 研究的能力。该基准衡量智能体能否从零复现 state-of-the-art AI 研究，具体评测细节与结果尚未在原文中披露。
OpenAI NewsAI 评分5757 OpenAI 推出 SWE-Lancer 基准
OpenAI 发布 SWE-Lancer 基准，用于评估前沿 LLM 能否完成真实自由职业软件工程任务并赚取 100 万美元。该基准以真实项目为测试对象，衡量模型在实际软件工程工作中的表现。
Hugging Face Blog精选AI 评分6060 Hugging Face 用 Math-Verify 重评 Open LLM Leaderboard 全部 3,751 个模型
Hugging Face 用 Math-Verify 替换旧评测器，重新评估了 Open LLM Leaderboard 上提交过的全部 3,751 个模型。旧评测器因答案格式、SymPy 解析和答案比对问题误判正确答案，替换后模型平均多解出 61 道题，MATH 子集平均提升 4.66 分，Algebra 与 Prealgebra 分别提升 8.27 和 6.93 分。
推荐理由：原文给出评测器替换前后的具体差异与榜单变化，读者可据此判断数学评测口径对模型排名的影响。
Hugging Face BlogAI 评分3131 Hugging Face 发布 Open Arabic LLM Leaderboard 2
Hugging Face 联合 2A2I、TII 推出 Open Arabic LLM Leaderboard 2，升级阿拉伯语大模型评测榜。首版上线不到 7 个月吸引超 46,000 名访客，收到 700 多个模型提交，参数规模从 1B 到 70B 以上，来自 180 多个机构，其中超 70% 为 chat 与微调模型，11% 为预训练模型。
Hugging Face BlogAI 评分3636 Adyen 与 Hugging Face 联合发布 DABstep：多步推理数据智能体基准
Adyen 与 Hugging Face 联合推出 DABstep（Data Agent Benchmark for Multi-step Reasoning），包含 450+ 个源自 Adyen 真实业务的数据分析任务，用于评测 LLM 与 AI 智能体的多步推理能力。
Hugging Face BlogAI 评分3434 Hugging Face 开放 LLM 排行榜揭示 CO₂ 排放与模型性能关系
Hugging Face 在 Open LLM Leaderboard 上为 2742 个模型加入推理 CO₂ 排放估算，发现模型越大排放越高但排行榜得分增长递减，MoE 模型的得分排放比普遍偏低。社区微调模型比其官方基座更低碳，Qwen-2.5-14B 与 Phi-3-Medium 的得分排放比最佳。
Hugging Face BlogAI 评分4747 Artificial Analysis 发布 Big Bench Audio，评估音频推理能力
Artificial Analysis 发布 Big Bench Audio 音频推理评测数据集，包含 1000 道来自 Big Bench Hard 四个类别的音频题目。
Hugging Face BlogAI 评分3434 LLM 修复自身错误的能力如何？一项基于 Keras 和 TPU 的 chatbot arena 实验
Hugging Face 用 Keras、JAX 和 TPU 搭建了一个 chatbot arena，测试 LLM 在被指出错误后能否修正代码。实验在 TPU v5e 2x4 上以 bfloat16 同时加载了 5 个约 8B 参数模型和 3 个约 2B 参数模型，共 7 个 LLM，通过 Gradio 界面并行对话。
Hugging Face BlogAI 评分2222 Hugging Face 推出 AraGen：基于 3C3H 的阿拉伯语 LLM 生成式基准与排行榜
Hugging Face 发布面向阿拉伯语 LLM 的生成式任务基准与排行榜 AraGen，采用新的 3C3H 评估指标，从正确性、完整性、简洁性、有用性、诚实性和无害性六个维度基于 LLM-as-judge 打分。
Hugging Face BlogAI 评分3636 Hugging Face 与 LLM-jp 联合发布日语 LLM 开放排行榜
Hugging Face 与 LLM-jp 联合推出 Open Japanese LLM Leaderboard，用 llm-jp-eval 评测套件覆盖 16 项任务，从自然语言推理、机器翻译、摘要、问答到代码生成、数学推理和人类考试，均以 4-shot 方式运行。
Hugging Face BlogAI 评分4040 BAAI 推出 FlagEval Debate：首个多语言 LLM 辩论竞赛平台
BAAI 推出 FlagEval Debate 平台，让大模型以辩论方式互相对抗，目前支持英语、中文、阿拉伯语和韩语四种语言的辩论竞赛。该平台采用专家评审与用户投票的双重评估机制，并允许开发者自定义模型参数与对话风格，以解决静态评测和 Chatbot Arena 等平台缺乏区分度、模型孤立生成及投票偏差等问题。2024 年 Q3 的实验显示，当前大多数模型都能参与辩论。
Hugging Face BlogAI 评分5050 Hugging Face 推出 Judge Arena：用众包投票评测 LLM 作为评估者的能力
Hugging Face 上线 Judge Arena，让用户对两个 LLM 评委的评分和评语进行盲投，投票结果汇总为按小时更新的 Elo 排行榜。平台首批纳入 18 个模型，涵盖 GPT-4o、GPT-4 Turbo、Claude 3.5 Sonnet、Llama 3.1 405B/70B/8B、Qwen 2.5 7B/72B 等开源与闭源模型。
OpenAI NewsAI 评分2727 OpenAI 推出 SimpleQA 事实性基准
OpenAI 发布事实性基准 SimpleQA，用于衡量语言模型回答简短事实型问题的能力。该基准聚焦短小、寻求事实的提问，评估模型的事实准确性。
Hugging Face BlogAI 评分2222 Digital Green 用 LLM-as-a-Judge 强化 Farmer.chat 的 RAG 应用
Digital Green 在 CGIAR 主导的 GAIA 项目中为农业问答机器人 Farmer.chat 搭建了 LLM-as-a-Judge 评测体系，用于评估其 RAG 管线的回答质量。
OpenAI NewsAI 评分4141 OpenAI 发布 MLE-bench：评估 AI 智能体的机器学习工程能力
OpenAI 推出 MLE-bench，用于衡量 AI 智能体在机器学习工程任务上的表现。该基准测试评估智能体完成机器学习工程工作的能力。
Hugging Face BlogAI 评分3434 Hugging Face 推出 Open FinLLM Leaderboard 金融大模型评测榜
Hugging Face 发布 Open FinLLM Leaderboard，为金融领域大语言模型提供专门评测框架。该榜单覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测和决策七大类任务，采用零样本评测，指标包括 Accuracy、F1、ROUGE 和 MCC。
Hugging Face BlogAI 评分2222 BenCzechMark：你的 LLM 能理解捷克语吗？
Hugging Face 发布 BenCzechMark，首个面向捷克语的大语言模型综合评测套件，包含 50 个任务、9 个类别，其中 90% 为原生非翻译内容。配套榜单已收录超过 25 个不同规模的开源模型，任务覆盖阅读理解、事实知识、语法错误检测、数学推理、自然语言推理、命名实体识别与情感分析等，并采用 Acc、EM、AUROC、Ppl 等指标评估。
OpenAI NewsAI 评分5858 OpenAI 发布 SWE-bench Verified
OpenAI 发布 SWE-bench Verified，这是 SWE-bench 中经过人工校验的子集，用于更可靠地评估 AI 模型解决真实软件问题的能力。
Hugging Face BlogAI 评分2222 LAVE：用 LLM 在 Docmatix 上做零样本 VQA 评测，我们还需要微调吗？
Hugging Face 提出 LAVE（LLM-Assisted VQA Evaluation）指标，用 Llama-2-Chat-7b 以 1-3 分制对候选答案打分，在 Docmatix 的 200 张图像子集上评测 MPLUGDocOwl1.5，LAVE 得分为 0.58，而 CIDER、BLEU、ANLS 分别仅为 0.1411、0.0032 和 0.002。
Hugging Face Blog精选AI 评分6262 Hugging Face 的 Transformers Code Agent 在 GAIA 基准上登顶
Hugging Face 团队用基于 transformers.agents 的 ReactCodeAgent 在 GAIA 基准验证集上取得 44.2%，排名第一，比第二名高 4 个百分点；测试集得分 33.3%，排名第二，并在 Level 3 难题上取得最佳平均分。
推荐理由：Hugging Face 团队公开了在 GAIA 上取得领先的 Code Agent 实现细节，包括工具设计、安全解释器与规划策略，可迁移到自建智能体系统。
Hugging Face BlogAI 评分3838 BigCodeBench：下一代 HumanEval 代码生成基准发布
Hugging Face 发布 BigCodeBench，一个面向 LLM 代码生成的新基准，包含 1,140 个函数级任务，要求模型调用 139 个库中的多个函数作为工具，每个任务平均含 5.6 个测试用例、分支覆盖率约 99%。
Hugging Face BlogAI 评分4747 Artificial Analysis 推出文生图排行榜与竞技场
Artificial Analysis 发布文生图排行榜与 Image Arena，基于超 45,000 次人类图像偏好投票计算 ELO 分数，覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等主流开源与闭源模型。
Hugging Face BlogAI 评分5050 Meta 发布 CyberSecEval 2：面向大语言模型网络安全风险与能力的评估框架
Meta 发布 CyberSecEval 2，从代码不安全实践、提示词注入、网络攻击协助请求、代码解释器滥用和自动化攻击能力五个维度评估 LLM 的网络安全风险。相比 2023 年 12 月的首版，LLM 协助网络攻击的平均合规率已从 52% 降至 28%。测试显示提示词注入仍是未解决问题，LLM 目前也难以可靠完成端到端漏洞利用挑战。
Hugging Face BlogAI 评分2222 Hugging Face 推出 Open Arabic LLM Leaderboard
Hugging Face 发布 Open Arabic LLM Leaderboard（OALL），用于评估和对比阿拉伯语大语言模型性能，服务全球超 3.8 亿阿拉伯语使用者。
Hugging Face BlogAI 评分2222 Hugging Face 推出希伯来语 LLM 开放排行榜
Hugging Face 发布专为希伯来语大语言模型设计的开放排行榜，填补低资源语言评测空白。该排行榜包含希伯来语问答、情感准确率、Winograd Schema Challenge 和英希翻译四项基准，采用 few-shot 提示格式评测。模型通过 HuggingFace Inference Endpoints 自动部署，由 lighteval 库管理 API 请求完成评估。
Hugging Face BlogAI 评分3737 Artificial Analysis LLM 性能排行榜登陆 Hugging Face
Artificial Analysis 将其覆盖 100 多个无服务器 LLM API 端点的 LLM Performance Leaderboard 上线 Hugging Face，综合对比模型的质量、上下文窗口、价格、吞吐与延迟。
Hugging Face BlogAI 评分5252 Hugging Face 与 Dottxt 实验：结构化生成提升提示词一致性
Hugging Face 的 Leaderboards and Evals 团队与 Dottxt 合作实验发现，结构化生成能减少提示词格式变化带来的评测方差。在 GSM8K 和 GPQA 上，使用 Outlines 约束输出结构后，Mistral-7B-v0.1 和 Zephyr-7B-beta 的分数方差降低，模型排名也更稳定。团队指出这仍需在更多模型和任务上验证。
Hugging Face BlogAI 评分3434 Hugging Face 推出 Open CoT Leaderboard，衡量大模型链式推理增益
Hugging Face 发布 Open CoT Leaderboard，不评模型绝对准确率，而是对比有无链式推理提示下的准确率差值 Δ。该榜单覆盖 LogiQA、LSAT 等多项选择题任务，已实现 Classic 和 Reflect 两种提示策略，并称对训练数据污染更具鲁棒性。
Hugging Face BlogAI 评分4040 Hugging Face 发布 Open Medical-LLM Leaderboard，评测医疗大模型
Hugging Face 推出 Open Medical-LLM Leaderboard，用 MedQA、MedMCQA、PubMedQA 及 MMLU 医学与生物学子集等医疗问答数据集，以准确率为主要指标评测大语言模型。