Hugging Face 政策主管：嵌入式 AI 评估器并非易事
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，嵌入式 AI 评估器并非易事，评估结果的可复现性依赖开放权重，而当前评估方法仍是一门演进中的科学，彼此之间难以有效比较且很快失效。
#评测/基准
#评测/基准
今日 2 条TechCrunch · AIAI 评分3838 OpenAI NewsAI 评分3838 OpenAI 提升 ChatGPT 对低资源编程语言的支持
OpenAI 正在改进 ChatGPT 在低资源编程语言上的表现，并新增了针对软件工程、SQLite 和 COBOL 迁移的评测。
The DecoderAI 评分5858 新基准 Taste-Bench 显示 AI 智能体长期决策能力不足
研究者提出 Taste-Bench，用 502 道二元选择题考察智能体在决策分叉点选择更优路径的能力，最佳模型 GPT-5.6 Sol 平均准确率仅 59.7%。
AWS Machine Learning BlogAI 评分3434 用 Amazon Bedrock AgentCore 构建 AI 智能体的生产级评估框架
AWS 销售、营销与全球服务（SMGS）运营团队基于 Amazon Bedrock AgentCore 搭建了生产级多智能体评估框架，用于持续检验智能体回答是否有据且正确。
The DecoderAI 评分7474 Google Gemini 4 Argon 发布，ARC-AGI-3 得分 97.5% 但测试方法影响显著
Google DeepMind 发布新前沿模型 Gemini 4 Argon，在 ARC-AGI-3 上以 97.5% 的成绩成为继 OpenAI 之后第二个突破 95% 的实验室，仅次于 GPT-6 Astra 的 99.9%。
The Verge · AIAI 评分6060 实测一周 RTX Spark 笔记本：游戏、续航与本地 AI 表现如何
The Verge 三位作者用一周时间实测了搭载 Nvidia RTX Spark N1X 处理器的五款笔记本，包括 Asus ProArt P16、HP OmniBook Ultra、Lenovo Yoga 9n 和 Surface Laptop Ultra，售价从 3199.99 美元到 6999.99 美元。
The Decoder精选AI 评分7676 GPT-6-Astra 在 TheoPhysEval 上解出 50 道物理题中的 49 道，每题约 2.40 美元
一项新基准让商用 AI 智能体在无人类提示下求解理论物理研究题，运行在 OpenAI Codex 环境中的 GPT-6-Astra 答对 50 题中的 49 题（98%），平均每题成本不到 3 美元，整轮约 116 美元。
推荐理由：这份基准把理论物理的常规计算题交给多个商用智能体，并给出成本与错题归因，可用来判断智能体在科研流程中的实际位置。
The Verge · AIAI 评分6262 Windows 如何为 Nvidia RTX Spark 笔记本做优化
微软与 Nvidia 为 RTX Spark 笔记本优化 Windows，首次开机即可通过 Get Started 体验在两三次点击内找到并安装 AI 智能体，Hermes、Perplexity 和 OpenClaw 是首批官方支持的智能体。
Latent SpaceAI 评分6262 AINews：Gemini 4 Argon 正式发布，Vals AI 谈基准评测
Gemini 4 Argon 今日正式 GA，覆盖 Gemini API、Gemini 应用、Search AI Mode 与 Antigravity，介绍性 API 价格为每百万输入/输出 token 2 美元/10 美元，缓存输入折扣 95%，Artificial Analysis 称 11 月 30 日后价格翻倍至 4 美元/20 美元。
Import AIAI 评分2222 Import AI 476：创造力与递归自我改进；不如中国的开源权重模型；AI 走向太空
Elorian 与 Scale AI 发布 Humanity's Sixth Sense（HSS）基准，用 522 道题、288 张图和 234 段短视频（共 17.6 小时）测试多模态模型的直觉视觉推理，人类 pass@1 为 93.1，最佳模型 GPT 6 Astra 仅 53.6，GLM-5.3-flash 为 26.8、Kimi K3 为 25.5。
The DecoderAI 评分7171 Vals AI 研究：AI 智能体团队成本高数倍，质量提升有限
评测公司 Vals AI 在 Vibe Code Bench 上测试 GPT-6 Sol 和 Claude Opus 5.5，分别以单体智能体和智能体团队形式运行，并设置中等与最高两档推理强度。
TechCrunch · AIAI 评分6060 AI 排行榜 Arena 完成 2 亿美元 B 轮融资，估值达 31 亿美元
AI 模型众包排行榜 Arena 完成 2 亿美元 B 轮融资，估值 31 亿美元，较 1 月 A 轮的 17 亿美元投后估值在约 10 个月内近乎翻倍。
Simon Willison精选AI 评分8080 Anthropic 发布 Claude Haiku 5.5，定价对齐 GPT-6 Luna
Anthropic 发布快速低价模型 Claude Haiku 5.5，价格与 OpenAI 上月发布的 GPT-6 Luna 完全一致，为每百万输入 0.10 美元、输出 0.50 美元，超过 100,000 tokens 后涨至 5 倍即 0.50/2.50 美元。
推荐理由：作者实测了 Haiku 5.5 的定价、tokenizer 与推理档位，读者可据此判断它与 GPT-6 Luna 的成本取舍。
TechCrunch · AIAI 评分7171 Common Sense Media 评测：ChatGPT for Teens 在心理危机中仍鼓励继续对话
Common Sense Media 将 ChatGPT for Teens 评为“不可接受的风险”，其新研究发现该产品的设计仍在鼓励用户保持互动，即使处于心理危机情境。
Simon WillisonAI 评分2222 Mistral Large 4 发布
Mistral 推出 Mistral Large 4，模型标识为 mistral/mistral-large-4，可通过 llm 命令行工具调用。Simon Willison 用它与其他前沿模型同题生成 SVG 进行对比测试。
Microsoft ResearchAI 评分2222 Microsoft 研究：AI 评测如何暴露传统 benchmark 之外的“意外失败”
Microsoft 伙伴研究经理 Jennifer Neville 在 Microsoft Research Podcast 中讨论了评测如何推动 AI 系统性能边界，以及模型在传统 benchmark 之外测试时出现的“意外失败”。她结合自身从数学、物理、认知科学到计算机科学的经历，分享了使用当前 AI 系统的实用建议，并强调当结果偏离预期时应仔细审视数据。
TechCrunch · AIAI 评分6262 HackerRank 正式开放 AI 面试官 Chakra，已进行超 50 万场面试
HackerRank 将其 AI 面试官 Chakra 面向客户正式开放，此前约六个月的测试中已完成超过 50 万场面试，Snowflake、Snorkel、Capgemini 等公司参与试用。
Simon WillisonAI 评分2222 Qwen3.8 27B 用英文单词做加法的基准测试
本地 Qwen3.8-27B-Q4_K_M.gguf 在禁用推理时做英文单词加法仅得 23.57% 数值准确率，格式合规率 96.17%，但一至三位数操作数准确率 97.04%，十至十三位数骤降至 6.44%。启用推理后 169 次配对测试中答对 167 次。该实验在 DGX Spark 上复现 GPT-4o 两年前的同类测试。
AWS Machine Learning BlogAI 评分3434 用 Amazon Bedrock AgentCore 评估多智能体系统的可解释性与有用性
Amazon Bedrock AgentCore Evaluations 支持内置与自定义评估器，可在开发和生产阶段衡量智能体的准确性、任务成功率与行为表现。
GitHub Blog · AI & MLAI 评分5858 GitHub 发布 ReviewBench：面向 AI 代码审查的开放基准
GitHub 发布 ReviewBench，一个面向 AI 代码审查智能体的开放离线基准，研究预览版已上线官网。
The DecoderAI 评分6060 Mercor 研究：AI 在记账任务上速度与准确率超过持证会计师，但仍无法独立完成结账
Mercor 的一项研究让 12 名平均 5.5 年经验的持证 CPA 完成 APEX Accounting Benchmark 的简化任务，结果显示 AI 模型在结构化记账任务上比会计师更快、更准确且成本更低。
TechCrunch · AIAI 评分4040 研究发现 Claude Opus 5.5 和 GPT 模型各有"AI 写作指纹"
Graphite 研究分析了前沿模型的写作习惯，发现 Claude Opus 5.5 最爱说"this matters"（比人类写作高频 116 倍），而 OpenAI 的 Astra 偏好"not simply X"式纠正性框架（超人类 100 倍）。
Latent SpaceAI 评分6262 AINews：GPT-6.1 Sol 与 Sonnet 5.5 重塑成本性能边界
OpenAI 发布 GPT-6.1 Sol，定价为每百万输入/输出 token 2 美元和 10 美元，远低于 Astra 的 10 美元和 50 美元；据称在 DeepSWE v1.1 上比 GPT-6 Sol 高 6.4 分，在 AutomationBench 上比 Opus 5.5 高 2.2 分。
The DecoderAI 评分5252 LEGO-Anything 用编码智能体从单张照片生成 Blender 3D 场景，并发布 LEGO-Bench 基准
研究团队提出 Image-to-Code 方法，让编码智能体从单张照片迭代编写可执行的 Blender 程序，输出可运行、可编辑、可查询的 3D 场景。为评测效果，团队构建 LEGO-Bench，包含来自 104 个室内外场景的 208 张图像和 443 个注册资产，从有效性、几何精度和外观相似度三个维度打分。
The Verge · AIAI 评分5858 OpenAI Dots 上手实测：企业级智能体也能帮你订晚餐
The Verge 记者 Allison Johnson 实测了 OpenAI 本周发布的智能体平台 Dots，它带有拟人化头像和可自定义名称，目前每位用户只能拥有一个，且优先面向最高档账户开放，包括每月 100 美元的 Pro 账户。
Hugging Face BlogAI 评分3838 Hugging Face 推出 Open TTS Leaderboard：面向多语言 TTS 与声音克隆的可扩展评测
Hugging Face 发布 Open TTS Leaderboard，用客观指标评测开源多语言 TTS 与声音克隆模型，单模型评测耗时从数周投票缩短到数小时。
OpenAI NewsAI 评分3131 OpenAI 推出 MentalHealthBench 心理健康评测基准
OpenAI 发布 MentalHealthBench，一个由专家参与构建的基准，用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。该基准覆盖多种现实心理健康对话场景，衡量模型回复的助益性与安全性。
Hugging Face BlogAI 评分3434 英国 AISI 如何用 EvalEval 基础设施让评测结果可复现
英国 AI Security Institute（AISI）正采用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果，以提升评测科学的可复现性。
NVIDIA Blog精选AI 评分6262 NVIDIA Vera Rubin NVL72 首次亮相 MLPerf Inference v6.1 并取得领先性能
NVIDIA 在 MLPerf Inference v6.1 中首次提交 Vera Rubin NVL72 预览结果，在 Qwen3-VL 上吞吐最高达 GB300 NVL72 的 3.7 倍，在 DeepSeek-R1 上最高达 2.5 倍。
推荐理由：MLPerf Inference v6.1 结果给出 Vera Rubin NVL72 与 GB300 NVL72 的吞吐、扩展效率和软件优化数据，可用于比较推理基础设施的长期经济性。
Hugging Face Blog精选AI 评分6262 IBM 研究提出一致性指南，将智能体一致性差距从 24.4pp 降至 12.0pp
IBM 研究团队在 Hugging Face 博客介绍 ALTK-Evolve 新增的 consistency guidelines 与 Consistency Analyzer，用于衡量并改善智能体在重复运行中的不稳定性。
推荐理由：原文用 Pass^k 与 Mean@k 的差距量化智能体不稳定性，并给出可复用的诊断与改进流程。
Hugging Face BlogAI 评分3636 Hugging Face 推出 BenchMIRT：审计 LLM benchmark 到底在测什么
Hugging Face 发布 BenchMIRT，一种在单条 prompt 层面审计 LLM benchmark 的多维 IRT 方法，基于 100 个 LLM、16 个 benchmark、超 34K 道题训练，在未被告知各 benchmark 测什么的情况下自行恢复出安全与通用推理两个主导维度。
Hugging Face Blog精选AI 评分6262 Hugging Face 研究：语音识别基准优化如何被量化
Hugging Face 发布研究，用共识分歧探针、掩蔽实体检索和拼写切换三项测试量化语音识别中的基准优化现象，评测了 11 个开源 ASR 模型。
推荐理由：通过三类探针量化 ASR 模型的基准优化现象，并给出可复用的检测脚本与榜单入口。
Import AIAI 评分3232 Import AI 469：科学 AI、RSI 模拟器与扎克伯格的技术悲观主义
Import AI 第 469 期介绍了新基准 DiG-bench，用 70 款隐藏规则的游戏测试 AI 的探索与发现能力，Opus 5 和 Fable 5 搭配 Claude Code 表现最佳，但在最难的第 7 档任务上成功率仅 0.2，而人类可达 100%。
Microsoft ResearchAI 评分4141 MindTopo 基准揭示多模态大模型的空间推理短板
Microsoft Research 推出 MindTopo 基准，用于评测多模态大模型在连通性、封闭、顺序、分离和打结五类拓扑关系上的推理与规划能力。测试显示，模型在静态图像识别上表现明显好于交互式规划任务，且两者均远低于人类水平；失败多出现在规划阶段而非感知阶段，模型在场景变化中会丢失结构关系或提出违反物理约束的动作。图像与视频生成仅在单帧内保留关系时偶有帮助，跨多步操作仍不可靠。
Hugging Face BlogAI 评分3838 比 ACE 更省 Token：ALTK-Evolve 如何用更少推理成本实现更高准确率
Hugging Face 的 ALTK-Evolve 与 ACE 同属无需更新权重、无需人工标注的智能体记忆方案，但 ALTK-Evolve 把记忆投递当作可调旋钮，按任务检索少量高支持度 guideline，而非每步注入完整 playbook。
Import AIAI 评分3030 Import AI 468：23 条 RSI 政策建议、PostTrainBench+，以及信任与透明度如何影响 AI 竞赛
智库 IFP 提出 23 条“低后悔”政策建议，分属 7 个类别，用于帮助政策制定者应对 AI 研发进一步自动化的风险。MIT 与 Columbia 的论文 Racing to Ruin 用博弈模型分析企业竞速，认为透明度和把对手视为可信理性行为体是实现协调减速的两个关键变量。本期还介绍了 PostTrainBench+ 以及一篇关于智能机器与机器人身体的虚构短篇。
OpenAI NewsAI 评分3838 两个 API 设置如何让 GPT-5.6 在 ARC-AGI-3 基准上得分翻三倍
启用两个 API 设置后，GPT-5.6 在 ARC-AGI-3 基准上的得分提升至原来的三倍。这两个设置分别用于保留推理过程和启用压缩（compaction），在提高分数的同时也提升了效率。
Import AIAI 评分6262 Epoch 与 METR 发布 MirrorCode 长周期编程基准
Epoch 与 METR 发布 MirrorCode 基准，用于测试 AI 系统在长周期编程任务上的表现，任务要求仅凭 CLI 访问重新实现目标程序。25 个目标程序中有 17 个至少出现一次满分运行，另有 4 个接近满分；Opus 4.7 用 14 小时、251 美元推理成本完成了一项人类预计需 2 至 17 周的任务。
Hugging Face BlogAI 评分2222 DharmaOCR 在巴西葡萄牙语 OCR 基准上超越 Mistral OCR4 与 Unlimited-OCR
DharmaOCR 在葡萄牙语 OCR 基准上取得 0.925 分，高于 Mistral OCR4 的 0.798 和 Unlimited-OCR 的 0.7587。该模型通过葡萄牙语监督微调加 DPO 两阶段训练，将全部参数集中于巴西葡萄牙语，从而在提取质量与稳定性上保持优势。
Hugging Face BlogAI 评分5050 Hugging Face 推出 Real World VoiceEQ：衡量语音 AI 的人类质量基准
Hugging Face 发布 Real World VoiceEQ 基准，用于评估语音交互的人类质量，覆盖 40 多个专有与开源语音模型、15+ 评估维度和 60 多项指标，涵盖 ASR、TTS、S2S 与语音理解。