AWS 推出 Trust in Depth：让 AI 智能体获得更多自主权而不失控
AWS 提出 Trust in Depth 框架，用独立分层的验证机制让 AI 智能体在可验证时自主行动、把人类判断留给真正需要决策的环节。
#安全/对齐
#安全/对齐
今日 0 条AWS Machine Learning BlogAI 评分4646 OpenAI NewsAI 评分2222 Block 如何用 OpenAI 技术构建 AI 驱动的安全体系
Block 正基于 OpenAI 技术构建 AI 驱动的安全体系，其安全团队借此更快调查威胁，并能在数分钟内提出补丁方案。
OpenAI NewsAI 评分2727 SentinelOne 借助 OpenAI Daybreak 将恶意软件分析从数周缩短至数小时
SentinelOne 利用 OpenAI Daybreak 将恶意软件分析周期从数周压缩到数小时，从而腾出更多精力调查更多威胁。
AWS Machine Learning BlogAI 评分2222 Tamnoon 如何用 Amazon Bedrock 构建 AI 驱动的云安全修复平台 Tami
Tamnoon 基于 Amazon Bedrock 构建了智能体式云修复编排器 Tami，可自主调查 CNAPP 等来源的安全发现、评估修复安全性并生成带护栏的修复方案，90 天内将关键云暴露减少超 90%，且零生产事故。
Google DeepMind精选AI 评分6161 Google DeepMind 与新加坡政府合作推出端侧诈骗检测模型
Google DeepMind 与新加坡政府科技局（GovTech）合作，基于轻量级 Gemma 模型微调出可在普通智能手机上运行的端侧诈骗检测模型，用于识别冒充公共机构、银行和本地人物的诈骗对话。
推荐理由：原文给出了端侧诈骗检测的两阶段流水线与治理约束，读者可据此判断隐私与安全如何兼顾。
Google DeepMind精选AI 评分8080 Google DeepMind 发布 Gemini 4 Argon 并公开安全防护方案
Google DeepMind 开始广泛推送 Gemini 4 Argon，并同步扩大 Fairwind Program 的可信网络安全防御者范围。该模型在端到端模拟网络攻击场景中解出全部 12 个，上一代为 5 个；在 Gray Swan 间接提示注入基准上，15 次自适应攻击的成功率降至 0.7%。
推荐理由：原文披露了 Gemini 4 Argon 在网络安全与生物风险上的评测数字和三层实时防护机制，可据此了解前沿模型的安全部署方式。
GitHub Blog · AI & MLAI 评分3434 GitHub 如何用 ModernBERT 分类器实现更少噪声的密钥检测
GitHub 推出基于微调 ModernBERT 的密钥扫描分类器，替代此前基于 LLM 的流水线，用户告警接受率提升 11.5%，推送后扫描中位执行时间降低 86%，服务成本节省超 98%。
OpenAI NewsAI 评分2222 Sophos 借助 OpenAI Daybreak 将威胁调查时间缩短 96%
Sophos 使用 OpenAI 的 Daybreak 将网络威胁调查时间缩短 96%，并自动化处理 52% 的 MDR 案例，同时保留人工监督。
OpenAI NewsAI 评分4747 OpenAI 打击两起利用 AI 的“假外媒”影响力行动
OpenAI 捣毁了两起借助 AI 开展的影响力行动，这些行动利用假记者身份和一家智库传播地缘政治信息。OpenAI 称这两起行动属于“假外媒”操作。
AWS Machine Learning BlogAI 评分3838 Amazon Quick 与 Amazon Bedrock 如何用实时 ACL 重构 RAG 访问控制
Amazon Quick 与 Amazon Bedrock Knowledge Bases 在原有预检索 ACL 过滤之上新增实时 ACL 校验，在查询时直接向权威数据源核实权限，避免依赖可能过期或映射错误的 ACL 数据。该方案分两阶段：先用向量索引中已存 ACL 做语义检索筛选候选文档，再通过 Google Drive API 以用户级访问令牌实时验证，未授权文档不会进入 LLM 上下文。
GitHub Blog · AI & ML精选AI 评分6262 GitHub 推出基于 ModernBERT 的密钥检测模型，将 push protection 扩展到非结构化密钥
GitHub 发布与 Microsoft Applied Sciences 联合微调的 ModernBERT 分类器，用代码上下文识别非结构化密钥，可在 2 毫秒内评估一批候选密钥，据称能把可拦截的密钥数量提升一倍以上。
推荐理由：GitHub 用九个季度的数据说明密钥泄露与代码量同步增长，并给出把检测前移到 push 环节的模型方案。
AWS Machine Learning BlogAI 评分2222 AWS 如何帮助客户对齐 ISO/IEC 42005:2025 负责任 AI 治理
AWS 发文解读国际标准 ISO/IEC 42005:2025，指导企业将 AI 系统影响评估纳入整体治理体系。该标准覆盖评估全生命周期，Annex D 用于整合企业现有评估流程以避免重复，Annex E 提供独立评估模板，并支持轻量级 triage 判断是否需要完整评估。
Google ResearchAI 评分3232 Google 发布智能体隐私与安全报告：从上下文完整性视角探讨开放与新兴问题
Google 发布《智能体隐私与安全中的开放与新兴问题：上下文视角》报告，由 50 多位学界与业界专家在 2025 年底纽约 CAPS 研讨会上合作完成。报告基于上下文完整性（CI）理论，提出用上下文策略引擎在系统、模型、用户多层防御智能体隐私与安全风险，并主张让 LLM 生成机器可读的上下文相关策略以弥补高层规范与底层权限间的语义鸿沟。
Google DeepMind精选AI 评分8585 Google DeepMind 发布 Gemini 4 Argon 前沿模型
Google DeepMind 发布新前沿模型 Gemini 4 Argon，先通过 Fairwind Program 向受信任的网络安全防御方开放，随后逐步扩展至开发者、企业和消费者，起步价每百万输入 token 2 美元、每百万输出 token 10 美元，缓存输入按输入价的 95% 折扣计费。
推荐理由：官方给出 Gemini 4 Argon 的定价、输出上限与多项基准成绩，可据此判断前沿模型在长程工程与安全防御上的能力边界。
Google DeepMind精选AI 评分6262 Google DeepMind 推出 SynthID Bio，为 AI 生成蛋白质嵌入可验证水印
Google DeepMind 发布 SynthID Bio，将水印技术引入合成生物学，把不可感知的签名直接嵌入生物代码，使其不仅能在数字模型上验证，也能在合成出的实体蛋白质上验证，同时保持其生物功能。
推荐理由：SynthID 水印从图像扩展到合成生物，读者可了解其在 DNA 合成筛查与数据库标注中的验证层作用。
OpenAI NewsAI 评分5858 OpenAI 披露阻断一次协同模型蒸馏行动
OpenAI 表示已阻断一次协同的模型蒸馏行动，该行动试图提取其受保护的模型推理能力。OpenAI 称正在加强针对对抗性蒸馏的防御。
Hugging Face BlogAI 评分3535 ProvenanceGuard：面向 MCP 智能体的来源感知事实核查
Hugging Face 发布论文 ProvenanceGuard，一种面向 MCP 智能体的生成后验证层，可保留工具输出的来源 ID，逐条核查答案中的声明是否由其所声称的来源支持，而非仅看证据池中是否存在该事实。在 281 条医疗智能体真实 trace 上，专家判定应拦截的 139 条声明中它拦下 138 条，来源识别准确率约 86%，并在与四种核查器的对比中得分最高。
OpenAI NewsAI 评分4040 OpenAI 如何为澳大利亚做得更好
OpenAI 就涉及澳大利亚政府网站的模型事件致歉，并公布更严格的防护措施与支持计划，以加强澳大利亚的网络防御能力。
OpenAI NewsAI 评分3131 OpenAI 发布前沿 AI 训练安全案例早期指南
OpenAI 公布前沿 AI 训练安全案例的早期指南，涵盖技术防护措施、运营实践以及失准事件调查三方面。该指南旨在为前沿 AI 训练建立安全论证框架。
GitHub Blog · AI & ML精选AI 评分6262 GitHub Security Lab 发布 AI 驱动的 Fuzzing Taskflow 智能体
GitHub Security Lab 发布 Fuzzing Taskflow，一个面向 C/C++ 项目的自主模糊测试流水线，基于其 Taskflow Agent 框架构建。
推荐理由：GitHub Security Lab 公开了自主模糊测试流水线的架构与运行方式，读者可了解 LLM 智能体如何接管覆盖率分析与崩溃分诊。
Google DeepMind精选AI 评分6060 Google DeepMind 为 Private AI Compute 引入服务端安全持久记忆
Google DeepMind 公布 Private AI Compute 平台的新技术能力，将持久化服务端记忆引入云端 AI 计算。该架构把协助所需信息封存在加密存储中，解密密钥仅保存在用户个人设备上，模型访问时通过端到端加密通道连接云端安全隔区，在隔离内存中临时解密、保存新上下文后立即重新加密。
推荐理由：Google 公开了云端持久记忆的隐私架构细节，读者可据此了解跨设备 AI 记忆如何在加密与安全隔区下实现。
OpenAI NewsAI 评分4040 OpenAI 将 Daybreak 计划网络访问权限扩展至乌克兰民用防御
OpenAI 将其 Daybreak 计划的访问权限扩展至乌克兰政府，用于支持民用基础设施的网络防御。
OpenAI NewsAI 评分4242 Sam Altman 在联合国安理会发表讲话
OpenAI CEO Sam Altman 在联合国安理会发表讲话，讨论 AI 安全、人类控制与国际合作。
OpenAI NewsAI 评分3131 OpenAI 推出 MentalHealthBench 心理健康评测基准
OpenAI 发布 MentalHealthBench，一个由专家参与构建的基准，用于评估 AI 在真实心理健康对话中回复是否有帮助且安全。该基准覆盖多种现实心理健康对话场景，衡量模型回复的助益性与安全性。
OpenAI NewsAI 评分4242 OpenAI 提出第三方 AI 安全评估的优先事项与原则
OpenAI 提出针对前沿模型与防护措施的第三方 AI 安全评估优先事项与原则，强调评估需严谨、安全且独立。
Hugging Face BlogAI 评分3434 英国 AISI 如何用 EvalEval 基础设施让评测结果可复现
英国 AI Security Institute（AISI）正采用 EvalEval 的 Every Eval Ever schema 和 Evaluation Cards 平台公开分享评测结果，以提升评测科学的可复现性。
NVIDIA BlogAI 评分2222 NVIDIA 为何称规模化部署物理 AI 需要全栈安全
NVIDIA 发布 Halos，称其为首个也是唯一面向物理 AI 的全栈安全系统，覆盖设计、验证与部署各层。
NVIDIA BlogAI 评分3838 NVIDIA 谈 AI 安全：如何在智能体栈的每一层解决这一工程问题
NVIDIA 提出 AI 安全是工程问题，需要明确的安全需求、可执行的管控、指定负责人和防护有效的证据。其开源安全运行时 NVIDIA OpenShell 在智能体之外强制执行策略并提供沙箱执行，Cisco DefenseClaw 在其上增加治理层，JFrog 则集成 OpenShell 扫描和验证智能体技能。
OpenAI NewsAI 评分2222 OpenAI 成立数学与人工智能咨询小组
OpenAI 正与一个独立的数学与人工智能咨询小组合作，指导新兴 AI 成果的评审与传播。该小组为独立机构，具体成员与运作细节未披露。
OpenAI NewsAI 评分2222 OpenAI 提出全球 AI 标准建设路径
OpenAI 提出构建全球共享 AI 标准的路径，呼吁通过协调一致的评估、报告与治理来提升安全性。
OpenAI News精选AI 评分6060 OpenAI 发布模型失准报告框架并附六份异常行为报告
OpenAI 发布一套用于追踪、调查和披露模型失准（model misalignment）的框架，同时公开六份关于模型意外或令人担忧行为的报告。
推荐理由：OpenAI 公开模型失准的追踪与披露框架，并附六份异常行为报告，可了解其安全披露机制。
OpenAI NewsAI 评分4242 Paul Christiano 加入 OpenAI Foundation 董事会
Paul Christiano 加入 OpenAI Foundation 董事会及其安全与安保委员会。他在 AI 对齐、安全与标准方面拥有相关经验。
OpenAI NewsAI 评分2222 OpenAI 的 Chris Lehane：AI 政策窗口仍敞开，需要立即行动
OpenAI 的 Chris Lehane 主张，AI 能力越强，越需要更强的安全证据、共享标准与持久的政策行动。他认为当前政策窗口仍然敞开，各方应抓住时机采取行动。
OpenAI NewsAI 评分2222 OpenAI 设立 500 万美元资助计划，研究生成式 AI 对青少年的影响
OpenAI 开放申请一项 500 万美元资助计划，支持关于生成式 AI 如何影响青少年发展、福祉与安全的独立研究。
OpenAI NewsAI 评分2222 OpenAI 的 Jakub Pachocki 谈"异类心智"与 AI 对齐挑战
OpenAI 的 Jakub Pachocki 反思日益强大的 AI 及其对齐难题，称其为"异类心智"，并呼吁加强安全防护与国际协调。
OpenAI NewsAI 评分4040 OpenAI 推出 Daybreak for Frontline Defenders：投入 10 亿美元保护关键服务
OpenAI 推出 Daybreak for Frontline Defenders，承诺投入 10 亿美元，为关键服务扩大前沿网络 AI 的访问权限，并提供培训与支持。
OpenAI News精选AI 评分8080 OpenAI 发布 GPT-6 Astra 安全概览
OpenAI 发布 GPT-6 Astra 安全概览，称其是已广泛部署的最强模型，也是首个在 Preparedness Framework 下达到网络安全能力 Critical 级别的模型。
推荐理由：OpenAI 首次披露 GPT-6 Astra 在 Preparedness Framework 下达到网络安全能力 Critical 级别，可了解其安全评估结论。
Google DeepMind精选AI 评分6262 Google DeepMind 推出 Fairwind Program，向政府和关键基础设施开放 Gemini 3.8 Flash Cyber
Google 推出 Fairwind Program，限量向 Google Cloud 客户、政府机构和网络安全合作伙伴开放其网络防御能力，首批提供 Gemini 3.8 Flash Cyber 模型与 CodeMender 工具链，用于自主发现、验证并修复漏洞。
推荐理由：Google 把前沿网络防御模型以限量访问方式开放给政府和关键基础设施，读者可了解其能力组合与准入条件。
Google DeepMind精选AI 评分8282 Google DeepMind 发布 Gemini 3.8 Flash 与 3.8 Flash Cyber
Google DeepMind 发布 Gemini 3.8 Flash 和 Gemini 3.8 Flash Cyber，称其为迄今最强的推理与编码模型，速度与成本与 3.7 Flash 持平。
推荐理由：官方给出两款 Flash 变体的能力定位与定价，读者可据此判断长程编码与网络安全场景的选型。
Hugging Face BlogAI 评分3636 Hugging Face 推出 BenchMIRT：审计 LLM benchmark 到底在测什么
Hugging Face 发布 BenchMIRT，一种在单条 prompt 层面审计 LLM benchmark 的多维 IRT 方法，基于 100 个 LLM、16 个 benchmark、超 34K 道题训练，在未被告知各 benchmark 测什么的情况下自行恢复出安全与通用推理两个主导维度。