OpenAI 发布 MLE-bench：评估 AI 智能体的机器学习工程能力
OpenAI 推出 MLE-bench，用于衡量 AI 智能体在机器学习工程任务上的表现。该基准测试评估智能体完成机器学习工程工作的能力。
#评测/基准
#评测/基准
今日 1 条OpenAI NewsAI 评分4141
Hugging Face BlogAI 评分3434 Hugging Face 推出 Open FinLLM Leaderboard 金融大模型评测榜
Hugging Face 发布 Open FinLLM Leaderboard，为金融领域大语言模型提供专门评测框架。该榜单覆盖信息抽取、文本分析、问答、文本生成、风险管理、预测和决策七大类任务，采用零样本评测，指标包括 Accuracy、F1、ROUGE 和 MCC。
Hugging Face BlogAI 评分2222 BenCzechMark：你的 LLM 能理解捷克语吗？
Hugging Face 发布 BenCzechMark，首个面向捷克语的大语言模型综合评测套件，包含 50 个任务、9 个类别，其中 90% 为原生非翻译内容。配套榜单已收录超过 25 个不同规模的开源模型，任务覆盖阅读理解、事实知识、语法错误检测、数学推理、自然语言推理、命名实体识别与情感分析等，并采用 Acc、EM、AUROC、Ppl 等指标评估。
OpenAI NewsAI 评分5858 OpenAI 发布 SWE-bench Verified
OpenAI 发布 SWE-bench Verified，这是 SWE-bench 中经过人工校验的子集，用于更可靠地评估 AI 模型解决真实软件问题的能力。
Hugging Face BlogAI 评分2222 LAVE：用 LLM 在 Docmatix 上做零样本 VQA 评测，我们还需要微调吗？
Hugging Face 提出 LAVE（LLM-Assisted VQA Evaluation）指标，用 Llama-2-Chat-7b 以 1-3 分制对候选答案打分，在 Docmatix 的 200 张图像子集上评测 MPLUGDocOwl1.5，LAVE 得分为 0.58，而 CIDER、BLEU、ANLS 分别仅为 0.1411、0.0032 和 0.002。
Hugging Face Blog精选AI 评分6262 Hugging Face 的 Transformers Code Agent 在 GAIA 基准上登顶
Hugging Face 团队用基于 transformers.agents 的 ReactCodeAgent 在 GAIA 基准验证集上取得 44.2%，排名第一，比第二名高 4 个百分点；测试集得分 33.3%，排名第二，并在 Level 3 难题上取得最佳平均分。
推荐理由：Hugging Face 团队公开了在 GAIA 上取得领先的 Code Agent 实现细节，包括工具设计、安全解释器与规划策略，可迁移到自建智能体系统。
Hugging Face BlogAI 评分3838 BigCodeBench：下一代 HumanEval 代码生成基准发布
Hugging Face 发布 BigCodeBench，一个面向 LLM 代码生成的新基准，包含 1,140 个函数级任务，要求模型调用 139 个库中的多个函数作为工具，每个任务平均含 5.6 个测试用例、分支覆盖率约 99%。
Hugging Face BlogAI 评分4747 Artificial Analysis 推出文生图排行榜与竞技场
Artificial Analysis 发布文生图排行榜与 Image Arena，基于超 45,000 次人类图像偏好投票计算 ELO 分数，覆盖 Midjourney、DALL·E、Stable Diffusion、Playground 等主流开源与闭源模型。
Hugging Face BlogAI 评分5050 Meta 发布 CyberSecEval 2：面向大语言模型网络安全风险与能力的评估框架
Meta 发布 CyberSecEval 2，从代码不安全实践、提示词注入、网络攻击协助请求、代码解释器滥用和自动化攻击能力五个维度评估 LLM 的网络安全风险。相比 2023 年 12 月的首版，LLM 协助网络攻击的平均合规率已从 52% 降至 28%。测试显示提示词注入仍是未解决问题，LLM 目前也难以可靠完成端到端漏洞利用挑战。
Hugging Face BlogAI 评分2222 Hugging Face 推出 Open Arabic LLM Leaderboard
Hugging Face 发布 Open Arabic LLM Leaderboard（OALL），用于评估和对比阿拉伯语大语言模型性能，服务全球超 3.8 亿阿拉伯语使用者。
Hugging Face BlogAI 评分2222 Hugging Face 推出希伯来语 LLM 开放排行榜
Hugging Face 发布专为希伯来语大语言模型设计的开放排行榜，填补低资源语言评测空白。该排行榜包含希伯来语问答、情感准确率、Winograd Schema Challenge 和英希翻译四项基准，采用 few-shot 提示格式评测。模型通过 HuggingFace Inference Endpoints 自动部署，由 lighteval 库管理 API 请求完成评估。
Hugging Face BlogAI 评分3737 Artificial Analysis LLM 性能排行榜登陆 Hugging Face
Artificial Analysis 将其覆盖 100 多个无服务器 LLM API 端点的 LLM Performance Leaderboard 上线 Hugging Face，综合对比模型的质量、上下文窗口、价格、吞吐与延迟。
Hugging Face BlogAI 评分5252 Hugging Face 与 Dottxt 实验：结构化生成提升提示词一致性
Hugging Face 的 Leaderboards and Evals 团队与 Dottxt 合作实验发现，结构化生成能减少提示词格式变化带来的评测方差。在 GSM8K 和 GPQA 上，使用 Outlines 约束输出结构后，Mistral-7B-v0.1 和 Zephyr-7B-beta 的分数方差降低，模型排名也更稳定。团队指出这仍需在更多模型和任务上验证。
Hugging Face BlogAI 评分3434 Hugging Face 推出 Open CoT Leaderboard，衡量大模型链式推理增益
Hugging Face 发布 Open CoT Leaderboard，不评模型绝对准确率，而是对比有无链式推理提示下的准确率差值 Δ。该榜单覆盖 LogiQA、LSAT 等多项选择题任务，已实现 Classic 和 Reflect 两种提示策略，并称对训练数据污染更具鲁棒性。
Hugging Face BlogAI 评分4040 Hugging Face 发布 Open Medical-LLM Leaderboard，评测医疗大模型
Hugging Face 推出 Open Medical-LLM Leaderboard，用 MedQA、MedMCQA、PubMedQA 及 MMLU 医学与生物学子集等医疗问答数据集，以准确率为主要指标评测大语言模型。
Hugging Face BlogAI 评分4242 Hugging Face 推出 LiveCodeBench 排行榜：面向代码 LLM 的无污染整体评估
Hugging Face 上线 LiveCodeBench 排行榜，基于 UC Berkeley、MIT 和 Cornell 研究者开发的基准，从 LeetCode、AtCoder、CodeForces 持续收集带发布日期的编程题，通过"随时间滚动"评估检测并防止数据污染。
Hugging Face BlogAI 评分3838 Hugging Face 与 Lighthouz AI 推出 Chatbot Guardrails Arena，压力测试 LLM 隐私护栏
Lighthouz AI 联合 Hugging Face 推出 Chatbot Guardrails Arena，让用户与两个匿名 LLM 聊天，尝试套取虚构银行 XYZ001 客户的敏感信息并投票选出隐私保护更强的模型。
Hugging Face BlogAI 评分3131 Hugging Face 发布 ConTextual：多模态模型在图文场景中的联合推理能力评测基准
加州大学洛杉矶分校研究者推出 ConTextual，一个面向 LMM 的上下文敏感文本丰富视觉推理数据集，含 506 条指令，覆盖时间阅读、购物、导航、信息图等 8 类真实场景，并同步上线排行榜。
Hugging Face BlogAI 评分5858 Hugging Face 发布 TTS Arena，用盲测投票给语音合成模型排名
Hugging Face 发布 TTS Arena，用户输入文本后由两个模型分别合成语音，投票选出更自然的一方，结果汇总为公开排行榜。首批参评模型包括 ElevenLabs、MetaVoice、OpenVoice、Pheme、WhisperSpeech 和 XTTS，投票前不显示模型名称以避免偏见。榜单初期为空，随投票累积自动更新，排名采用类似 Elo 的算法。
Hugging Face BlogAI 评分3636 Haize Labs 联合 Hugging Face 推出红队抵抗基准排行榜
Haize Labs 在 Hugging Face 团队支持下发布 Red Teaming Resistance Benchmark，系统测试前沿模型在高质量人类越狱攻击下的鲁棒性。
Hugging Face BlogAI 评分2828 Hugging Face 与 Upstage 推出 Open Ko-LLM Leaderboard：韩语大模型评测生态
Upstage 于 2023 年 9 月发起 Open Ko-LLM Leaderboard，为韩语大模型提供公开评测平台，采用 Ko-ARC、Ko-HellaSwag、Ko-MMLU、Ko-Truthful QA 和 Ko-CommonGEN V2 五项任务，并使用不公开的私有测试集防止数据污染。
Hugging Face BlogAI 评分2626 Hugging Face 上线 NPHardEval 排行榜：用复杂度类别动态评测 LLM 推理能力
Hugging Face 推出 NPHardEval 排行榜，基于密歇根大学和罗格斯大学研究者开发的 NPHardEval 基准，通过计算复杂度类别评估 LLM 推理能力。
Hugging Face BlogAI 评分3636 Hugging Face 与 Patronus 推出 Enterprise Scenarios Leaderboard：面向真实企业用例的 LLM 排行榜
Patronus 团队联合 Hugging Face 发布 Enterprise Scenarios Leaderboard，用于评估语言模型在真实企业场景中的表现。
Hugging Face BlogAI 评分3737 Hugging Face 发布 Hallucinations Leaderboard，开放评测大语言模型幻觉
Hugging Face 推出 Hallucinations Leaderboard，用一系列幻觉相关基准评测大语言模型的幻觉问题，并已发布 arXiv 论文。
Hugging Face BlogAI 评分3636 Hugging Face 推出 AI Secure LLM Safety Leaderboard
Hugging Face 发布 LLM Safety Leaderboard，基于 DecodingTrust 对 LLM 安全性进行评估，该平台曾获 NeurIPS 2023 杰出论文奖。
Hugging Face BlogAI 评分2727 如何用 Hugging Face 排行榜模板搭建自己的 LLM 排行榜：以 Vectara 幻觉排行榜为例
Vectara 基于 Hugging Face 开源的 leaderboard 模板发布了新版 HHEM 幻觉排行榜，用于评估 GPT-4、Google Gemini、Meta Llama 2 等 LLM 在文档摘要中的幻觉频率。
Hugging Face BlogAI 评分3838 Open LLM Leaderboard 的 DROP 基准深度排查
Hugging Face 对 Open LLM Leaderboard 新增的 DROP 基准进行深度排查，发现绝大多数模型 f1-score 低于 10 分。原因包括归一化步骤在数字后跟非空格空白字符时失效，以及用「.」作为停止词会截断浮点答案、让高质量模型因生成过长而得分更低。改用「\n」作为停止词后，分数与整体表现的相关性明显改善。
Hugging Face BlogAI 评分2525 Llama 2 在 Amazon SageMaker 上的部署基准测试
Hugging Face 对 Llama 2 在 Amazon SageMaker 上的 60 种部署配置进行了基准测试，覆盖 7B、13B、70B 三种模型规模，在 g5.2xlarge、g5.12xlarge、g5.48xlarge 和 p4d.24xlarge 四种实例上测试 1、5、10、20 并发请求，并对比 GPTQ 4-bit 量化效果。
Hugging Face BlogAI 评分2222 Hugging Face 发布 Object Detection Leaderboard：目标检测模型评测与指标解析
Hugging Face 推出 Object Detection Leaderboard，对 Hub 上的目标检测模型按指标排名。文章详解了 IoU、Average Precision（AP）与 Average Recall（AR）等指标的计算方式及其变体，并指出不同评测报告间结果可能存在差异的陷阱。开发者可据此在榜单中挑选适合自身应用的开源模型。
Hugging Face Blog精选AI 评分6262 Open LLM Leaderboard 的 MMLU 分数为何对不上？
Hugging Face 发文解释 Open LLM Leaderboard 上 LLaMA 的 MMLU 分数为何明显低于 LLaMA 论文中的数字：榜单封装的是 EleutherAI LM Evaluation Harness，而论文用的是 UC Berkeley 的原始实现，两者在提示词、答案比较方式上不同。
推荐理由：同一 MMLU 数据集在三种实现下分数与排名差异明显，读者可据此理解评测数字为何不可直接横向比较。
Hugging Face BlogAI 评分4242 Hugging Face 研究：基础模型能否像人类一样标注数据？
Hugging Face 用 327 条提示词对比了 Koala 13b、Vicuna 13b、OpenAssistant 12b 和 Dolly 12b 四个开源指令模型，让 Scale AI 人类标注员按 1-8 分 Likert 量表打分并生成 Elo 排名，Vicuna-13B 以 1140 分居首，Dolly-12B 以 802 分垫底。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布 MTEB 文本嵌入基准
Hugging Face 发布 MTEB（Massive Text Embedding Benchmark），用于在多种嵌入任务上衡量文本嵌入模型性能，包含 56 个数据集、8 类任务，覆盖多达 112 种语言，榜单已汇总超过 2000 条结果。
推荐理由：MTEB 把 56 个数据集、8 类任务和 2000 多条结果汇总成统一榜单，读者可据此理解文本嵌入模型的选型依据。
Hugging Face BlogAI 评分5050 Hugging Face 在 Hub 上推出零样本评估，支持 660 亿参数大模型免费评测
Hugging Face 的 Evaluation on the Hub 现已支持对 Hub 上任意因果语言模型进行零样本评估，无需编写代码，由 AutoTrain 驱动，目前支持最高 660 亿参数的模型，更大模型的支持即将推出。
Hugging Face Blog精选AI 评分6060 Hugging Face 发布 Evaluation on the Hub，可在 Hub 上免代码评测任意模型
Hugging Face 推出 Evaluation on the Hub，由 AutoTrain 驱动，用户无需写代码即可在 Hub 上用任意数据集和指标评测任意模型。评测结果会以 Pull Request 形式写入模型卡元数据，并可在数据集页查看排行榜；官方已用该工具评测数百个模型并提交了 PR。工具支持三种场景：为任务找最佳模型、在新数据集上跑基线、以及用多个相关数据集评测自己的模型。
推荐理由：Hugging Face 把模型评测做成 Hub 上的一键流程，读者可据此了解免代码评测与结果回写模型卡的做法。