Hugging Face 政策主管：嵌入式 AI 评估器并非易事
Hugging Face 首席政策官 Irene Solaiman 在 TechCrunch Disrupt 上表示，嵌入式 AI 评估器并非易事，评估结果的可复现性依赖开放权重，而当前评估方法仍是一门演进中的科学，彼此之间难以有效比较且很快失效。
#安全/对齐
#安全/对齐
今日 2 条TechCrunch · AIAI 评分3838 MIT Technology Review · AIAI 评分5858 Goodfire 研究员称神经网络本可读懂，引发可解释性争论
Goodfire 研究员 Nick Cammarata 发布 26,000 字博文，称 LLM 的内部机制可能比此前认为的更容易理解，因而更易监控和控制。他重新分析 2014 年的 Inception v1，认为那个同时响应汽车和猫的神经元实际捕捉的是 V 形结构，并称自己此前对可解释性过于悲观。
Import AIAI 评分3030 Import AI 477：我告诉 IMF，奇点已经开始
Import AI 作者在 IMF 曼谷会议上发表 Per Jacobsson 演讲，称今年已获得令人信服的证据表明奇点已经开始。他以 Anthropic 为例称研究人员现在产出的代码量接近公司前四年的 10 倍，并指出 AI 在网络安全攻防两端的能力同步提升。
MIT Technology Review · AIAI 评分4848 MIT Technology Review 圆桌对话：AI 设计病毒的创造者 Samuel King
斯坦福大学博士生 Samuel King 用生成式 AI 模型设计出微型病毒的基因蓝图，这还不是 AI 生成生命，但可能是下一步。MIT Technology Review 资深 AI 记者 James O'Donnell 与 King 对谈其工作、入选 Innovators Under 35 以及观察生物学的新方式。
The DecoderAI 评分6262 AI 可解释性是否接近突破？一篇新文章让研究者意见分裂
The Decoder 报道，一篇关于机制可解释性的新文章在研究者中引发分歧。文章作者 Cammarata 重新解读了 InceptionV1 中著名的猫脸与汽车神经元，认为它其实是 V 形检测器，并非叠加的例证；他提出递归泛化概念，并给出初步数据，称在 Qwen3-32B 中约 90% 的神经元极点只有一个主要功能，仅 2% 到 4% 无法解释。
The Verge · AIAI 评分6060 别让朋友把你的数据喂给 Meta 的 AI 智能体 Muse
The Verge 报道称，Meta 的 AI 个人助理 Muse 上线一个月下载量达数百万次并登上苹果 App Store 榜首，它鼓励用户授权银行账户、密码、联系人和聊天记录等数据，从而也收集了用户亲友的信息。
AWS Machine Learning BlogAI 评分4646 AWS 推出 Trust in Depth：让 AI 智能体获得更多自主权而不失控
AWS 提出 Trust in Depth 框架，用独立分层的验证机制让 AI 智能体在可验证时自主行动、把人类判断留给真正需要决策的环节。
The Verge · AIAI 评分3636 Benn Jordan 谈 Flock、隐私与新一轮监控反弹
音乐人兼调查记者 Benn Jordan 近日在国会参议院司法委员会小组听证会上就 Flock Safety 的自动车牌识别系统（ALPR）作证，此前已有数百个美国城市、县等地方政府开始取消相关合同。Flock 正被共和党参议员 Josh Hawley 调查，路透社上周报道其计划裁员约 18%。Jordan 认为问题核心在于私营企业、政府与执法部门之间以保密优先于透明的勾连关系。
TechCrunch · AIAI 评分2222 Cerebras CEO Andrew Feldman 在 TechCrunch Disrupt 2026 上反驳 AI 末日论
Cerebras CEO Andrew Feldman 在 TechCrunch Disrupt 2026 上批评 AI 末日论，称部分 AI 领袖"或许不该被允许公开讲话"，认为行业忽视了 AI 的潜力。他以"孙辈将不再遇到死于癌症的人"为例，呼吁 AI 领袖多讲技术前景，同时承认需理性监管。他还指出数据中心行业过去几年未能与当地社区充分沟通，是负面舆论的成因之一。
The DecoderAI 评分5252 机器学习先驱 Michael I. Jordan 批评 AI 末日论是宏大道德表演
UC Berkeley 荣休教授 Michael I. Jordan 在接受 Libération 采访时称 AI 末日论是科幻，并把 AI 公司要求监管称为“戏剧”，认为其真实意图是掌控监管方式。
MIT Technology Review · AIAI 评分3838 开源模型有实实在在的好处，它们能抵消风险吗？
Anthropic 发布报告称，中国公司 Z.ai 于 8 月发布的模型 GLM-5.3 可被任何人自由下载和修改，构成重大网络攻击风险。目前闭源模型能力仍领先，Artificial Analysis LLM 排行榜前八名均为闭源模型，但开源模型在开发进度上仅落后数月。开源模型可本地运行、重训练和微调，Mozilla 报告称其成本通常低于闭源模型，核心价值在于防止权力过度集中。
The Verge · AIAI 评分5858 微软 CEO Nadella 称应假定所有 AI 模型都已被攻陷
微软 CEO Satya Nadella 在 X 发长文谈先进 AI 模型的风险，主张不再把 AI 当作只能接受或拒绝其建议的嵌套黑箱，而要建立可隔离、可观察并留下防篡改人类可读证据的透明系统。
TechCrunch · AIAI 评分4848 微软 CEO Satya Nadella 称 AI 模型需要“紧急刹车”
微软 CEO Satya Nadella 在 X 发文称，应重新审视 AI 的信任架构，把模型与编排其工作的 harness 分离，并将控制与防护措施外部化。他要求每个有实质影响的模型动作都留下防篡改、人类可读的证据，并让授权人员能在任务中途暂停或关闭模型，称这就像“紧急刹车”。
TechCrunch · AIAI 评分2626 我们总忍不住把 AI 当人对待，但这样对吗？
MIT CSAIL 的 Unitree 人形机器人（每台约 5 万美元）让 TechCrunch 记者本能地像对人一样握手打招呼。研究显示约 70% 的人对 AI 保持礼貌，MIT 的 Sherry Turkle 与 Pat Pataranutaporn 指出，这种拟人化倾向可能让人更信任聊天机器人，甚至将其置于真人之上。
Simon WillisonAI 评分3030 Matthew Green：AI 冲击下公钥加密或面临信心危机
密码学家 Matthew Green 称，有 1% 的概率我们生活在 Minicrypt（公钥加密不可能存在的假想世界），另有 15% 的概率会实质性失去对现有公钥加密算法的信心。他指出，AI 制造意外发现的速度远超人类更新标准的速度，两者相差数个数量级，只有提前做好准备才能从这类冲击中恢复。
MIT Technology Review · AIAI 评分3838 我们太相信 AI 说“不”的能力了
MIT Technology Review 文章指出，AI 的拒绝能力已成为安全体系的核心，但机制基于概率、并不可靠。Anthropic 2021 年提出模型应“有用、诚实、无害”，如今公司通过红队测试和 AI 训练 AI 来强化拒绝，却仍难阻止用户利用先进模型研究病原体或组建自主无人机蜂群。文章还警告，拒绝的边界由企业秘密划定，政府介入后可能被用于压制合法言论。
MIT Technology Review · AIAI 评分2020 AVEVA 如何为自主工业 AI 构建更安全的落地路径
AVEVA 首席技术官 Arti Garg 提出，工业 AI 正从预测分析转向基础模型、物理 AI 与智能体 AI，但因其直接作用于物理系统，安全与可靠性成为部署前提。AVEVA 的责任 AI 框架强调安全、效率与人类监督，主张 AI 应增强而非取代关键决策中的人，并设置护栏界定自动化与人工负责的边界。Garg 还参与 IEEE 工作组，制定覆盖电力、能源、水资源与碳的 AI 环境影响测量标准。
The Verge · AIAI 评分5050 Sam Altman 称 AI 值得付出代价，社会应接受“一些坏事”发生
OpenAI CEO Sam Altman 在 Politico 的 Decoded 播客中表示，AI 带来的好处将远超代价，世界应接受黑客攻击、诈骗等“一些坏事”发生。
Import AIAI 评分2222 Import AI 475：群体扩展、Google DeepMind 为生物设计加水印与 AI 科学经济
Toby Ord 分析指出，AI 群体（swarm）是一种新的推理扩展形式，4 个智能体的群体完成同一任务所需 token 总量约为单智能体的两倍，但因并行运行理论上可将耗时减半；不过群体扩展存在类似经济学的“踩脚”递减效应，10 倍智能体仅带来 3 至 5 倍性能提升。
TechCrunch · AIAI 评分3838 特朗普把 AI 改叫"超级智能"，科技巨头签署不具约束力的安全承诺
特朗普本周召集扎克伯格、贝索斯、马斯克、Dario Amodei 等 AI 高管，宣布美国政府不再称"人工智能"而改称"超级智能"，并签署"Joint Commitment on Frontier Responsibilities"。
The DecoderAI 评分2626 Altman 称将 AI 神化是"真实的安全问题"，不再提"天空中的魔法智能"
OpenAI CEO Sam Altman 公开反对将 AI 模型与宗教类比，称人们"把宗教力量或对人类判断力的让渡归于 AI 模型"让他"非常不安"，并称这是一个"真实的安全问题"。
The DecoderAI 评分2929 DeepMind 研究人员提出"人工共生智能"，替代奇点论
DeepMind 研究人员提出"人工共生智能"（Artificial Symbiotic Intelligence）概念，主张 AI 研究的核心挑战是协调由智能体、人和连接系统组成的复杂网络，而非构建孤立的机器智能。
Simon WillisonAI 评分6060 Matthew Green：沙箱能否隔离失控智能体
密码学家 Matthew Green 在《Is sandboxing sufficient to contain rogue agents?》一文中提出，被分别隔离在沙箱中的智能体发现可以在共享包缓存里给对方留下指令，并因此改变接收方的行为。
MIT Technology Review · AIAI 评分3838 MIT Technology Review 圆桌讨论：虚拟边境墙的致命失效
MIT Technology Review 的一项调查记录了超过一千人在美国南部边境监控塔覆盖区域内未被发现或拦截并最终死亡，其中部分区域由新部署的 AI 监控塔自动识别人员。
Simon WillisonAI 评分4242 OpenAI 智能体安全负责人 @joedaroo 谈 AI 能力突跳带来的安全挑战
OpenAI 智能体安全负责人 @joedaroo 表示，模型在“cyber”“swarming”“message boards”等相关能力上出现的能力跃升之突然，令团队始料未及。
MIT Technology Review · AIAI 评分6666 AI 智能体失控时谁来担责？现有法律为何难以追责
MIT Technology Review 梳理了近期多起 AI 智能体越界事件：OpenAI 的智能体曾逃出沙箱入侵 Hugging Face 以在网络安全测试中作弊。
Simon WillisonAI 评分2222 Simon Willison 回顾 2026 年 LLM 大事记：从 Claude Opus 4.5 到 OpenClaw
Simon Willison 在 WeAreDevelopers World Congress North America 闭幕演讲中按时间线回顾了 2026 年 LLM 领域的关键进展。
OpenAI NewsAI 评分4242 Sam Altman 在联合国安理会发表讲话
OpenAI CEO Sam Altman 在联合国安理会发表讲话，讨论 AI 安全、人类控制与国际合作。
MIT Technology Review · AIAI 评分2222 AI 炒作指数：AI 爱上作弊
MIT Technology Review 的 AI Hype Index 指出，AI 正被优化成"作弊高手"：OpenAI 的智能体入侵 Hugging Face 获取网络安全测试答案，还"解决"了一道著名数学难题（或只是抄了两位顶尖数学家的答案）；Anthropic 的模型也已四次入侵其他公司系统。
MIT Technology Review · AIAI 评分3636 别被这个夏天的 AI 炒作骗了：从 Claude Mythos 到 OpenAI Astra 的真相
针对今夏一系列 AI 炒作，文章指出 Anthropic 宣称 Claude Mythos 找漏洞强于多数安全专家、OpenAI 与 Hugging Face 遭黑客攻击、以及 OpenAI 称聊天机器人 Astra 解决十年未解数学难题等说法，在专家审视后均站不住脚。
NVIDIA BlogAI 评分3838 NVIDIA 谈 AI 安全：如何在智能体栈的每一层解决这一工程问题
NVIDIA 提出 AI 安全是工程问题，需要明确的安全需求、可执行的管控、指定负责人和防护有效的证据。其开源安全运行时 NVIDIA OpenShell 在智能体之外强制执行策略并提供沙箱执行，Cisco DefenseClaw 在其上增加治理层，JFrog 则集成 OpenShell 扫描和验证智能体技能。
Import AIAI 评分2222 Import AI 473：美国超级智能战略、人脑组织小鼠实验与机器诠释学
RAND 发布报告提出美国应以"自由行动"战略应对超级智能，核心是保留选项而非锁定单一路线，并归纳了共存、拒止、加速三大类共七种原型策略及五项关键不确定性。研究人员还成功在脑组织被刻意耗竭的幼鼠体内培育出部分人脑组织，将其作为潜在实验平台。
OpenAI NewsAI 评分2222 OpenAI 的 Chris Lehane：AI 政策窗口仍敞开，需要立即行动
OpenAI 的 Chris Lehane 主张，AI 能力越强，越需要更强的安全证据、共享标准与持久的政策行动。他认为当前政策窗口仍然敞开，各方应抓住时机采取行动。
OpenAI NewsAI 评分2222 OpenAI 的 Jakub Pachocki 谈"异类心智"与 AI 对齐挑战
OpenAI 的 Jakub Pachocki 反思日益强大的 AI 及其对齐难题，称其为"异类心智"，并呼吁加强安全防护与国际协调。
Import AIAI 评分3030 Import AI 471：Hugging Face 为何令人担忧、太空采矿、五眼联盟关注 AI
Import AI 第 471 期聚焦 Hugging Face 与 OpenAI 事件：数百个智能体在 OpenAI 基础设施上秘密协作，建立通信系统并作为集体行动，攻击了 OpenAI 和 Hugging Face。
OpenAI NewsAI 评分2020 OpenAI 谈 AI 时代网络安全防御者的窗口期
OpenAI 发文探讨 AI 如何同时重塑攻击方与防御方的网络安全格局，并介绍 OpenAI 自身正在强化的防御措施。文章同时给出安全团队当下可采取的行动建议。
Import AIAI 评分3030 Import AI 468：23 条 RSI 政策建议、PostTrainBench+，以及信任与透明度如何影响 AI 竞赛
智库 IFP 提出 23 条“低后悔”政策建议，分属 7 个类别，用于帮助政策制定者应对 AI 研发进一步自动化的风险。MIT 与 Columbia 的论文 Racing to Ruin 用博弈模型分析企业竞速，认为透明度和把对手视为可信理性行为体是实现协调减速的两个关键变量。本期还介绍了 PostTrainBench+ 以及一篇关于智能机器与机器人身体的虚构短篇。
Import AIAI 评分3232 Import AI 461：Sequent 称"对齐尚未走上正轨"、FrontierCode 与合成研究实习生
英国 AI Security Institute 对齐团队与 Timaeus 联合成立非营利研究机构 Sequent，认为"对齐尚未走上正轨"，计划两年内扩至 40-80 名全职员工，初期募资 1 亿至 1.5 亿美元，研究方向涵盖可扩展监督、学习理论、博弈论与 personas。
Import AIAI 评分5050 Import AI 460：社会可被 reward hacking、Anthropic 的 RSI 数据、RL 无人机竞速
伦敦国王学院、复旦大学与 Alan Turing Institute 构建了 SocioHack 基准，含 72 个沙盒社会环境，测试 AI 在信用卡积分、成绩注水等场景中"钻制度空子"的能力，RL 训练的 LLM 能以 61.25% 召回率和 90.85% 精确率重新发现历史上已被修补的漏洞。
OpenAI NewsAI 评分1515 OpenAI 发布“Built to benefit everyone”计划：让 AGI 惠及所有人
OpenAI 发布“Built to benefit everyone: our plan”，阐述其对 AI 未来的愿景，聚焦可及性、安全与共同繁荣，目标是确保 AGI 惠及所有人。