OpenAI 推出 Trusted Access for Cyber 可信访问框架
OpenAI 推出 Trusted Access for Cyber,一个基于信任的框架,在扩大前沿网络安全能力访问的同时加强对滥用的防护。
推荐理由:OpenAI 推出面向网络安全的可信访问框架,读者可了解其在开放前沿能力与防范滥用之间的取舍思路。
OpenAI 推出 Trusted Access for Cyber,一个基于信任的框架,在扩大前沿网络安全能力访问的同时加强对滥用的防护。
推荐理由:OpenAI 推出面向网络安全的可信访问框架,读者可了解其在开放前沿能力与防范滥用之间的取舍思路。
OpenAI 封禁了一个与中国执法部门相关人员关联的账号,该账号利用 AI 策划影响力活动、骚扰和网络行动。
推荐理由:OpenAI 披露封禁与中国执法部门相关人员关联账号,可了解平台对滥用行为的处置口径。
OpenAI 封禁了与 Rybar 网络关联的账号,其中部分账号可能源自俄罗斯,这些账号利用 AI 在网站和社交平台上支持多语言影响力活动。
OpenAI 封禁了一批很可能源自柬埔寨的账号,这些账号用 AI 冒充追损服务、律所和执法机构,目标指向曾遭遇诈骗的人。
OpenAI 封禁了一批疑似中国来源的账号,这些账号利用 AI 研究美国人员、地点及社会工程学手法。
OpenAI 封禁了一批利用 AI 支持恋爱诈骗流程的账号,涉及接触目标、翻译、与受害者互动以及投资诈骗诱饵等环节。
推荐理由:OpenAI 披露封禁用于恋爱诈骗流程的账号,读者可了解平台对滥用行为的界定与处置范围。
OpenAI 封禁了一批与代号 No Bell 行动相关的账号,该行动此前未被报道,疑似源自俄罗斯。这些账号利用 AI 生成针对美国及其盟友的批评内容,面向非洲受众传播。
OpenAI 封禁了一批很可能源自柬埔寨的账号,这些账号利用 AI 对印尼交友用户实施诈骗,包括翻译和互动。该行动代号“Date Bait”。
OpenAI 封禁了一批与名为“Trolling Stone”的行动相关的账号,该行动此前未被报告,利用 AI 生成关于一名据称俄罗斯邪教领袖在阿根廷被捕的评论。
OpenAI 推出 EMEA Youth & Wellbeing Grant,投入 50 万欧元资助非政府组织和研究人员,用于推进 AI 时代的青年安全与福祉。该计划现已开放申请。
OpenAI 说明了 AI 智能体打开链接时如何保护用户数据,防范基于 URL 的数据外泄与提示词注入,并内置了相应防护措施。
ChatGPT 正在推出年龄预测功能,用于判断账号用户是否年满 18 岁,并据此为青少年启用相应保护措施。OpenAI 表示该功能会随时间推移持续优化准确率。
Hugging Face 发布 8B 参数安全护栏模型 AprielGuard,可检测 16 类安全风险及提示注入、越狱、思维链污染、记忆投毒、多智能体攻击序列等对抗攻击,并覆盖工具调用与推理轨迹等智能体工作流场景。模型提供推理与非推理两种模式,兼顾可解释分类与低延迟生产部署。
OpenAI 正在用基于强化学习训练的自动化红队手段加固 ChatGPT Atlas,抵御提示词注入攻击。这一发现与修补的循环有助于尽早识别新型攻击手法,并随着 AI 智能体能力增强持续强化浏览器智能体的防御。
推荐理由:官方说明 ChatGPT Atlas 用自动化红队加强化学习持续发现并修补提示词注入漏洞,可了解浏览器智能体的安全加固思路。
OpenAI 推出面向思维链可监控性的新框架与评测套件,覆盖 24 种环境下的 13 项评估。结果显示,监控模型内部推理远比仅监控输出更有效,为 AI 系统能力提升后的可扩展控制提供了可行路径。
OpenAI 发布面向青少年和家长的 AI 素养资源,帮助其更审慎、安全地使用 ChatGPT。指南包含经专家审核的建议,涵盖负责任使用、批判性思维、健康边界,以及如何支持青少年应对情绪或敏感话题。
OpenAI 更新 Model Spec,新增 Under-18 Principles,规定 ChatGPT 应基于发展科学为青少年提供安全、适龄的引导。此次更新强化了防护栏,并明确了模型在更高风险情境下的预期行为,是 OpenAI 改善 ChatGPT 青少年安全整体工作的一部分。
Google DeepMind 发布 Gemma Scope 2,一套面向 Gemma 3 全系列模型(270M 至 27B 参数)的开源可解释性工具,结合稀疏自编码器(SAEs)与 transcoders 查看模型内部计算。
OpenAI 推出一个真实世界评估框架,用于衡量 AI 加速湿实验室生物研究的能力。该工作使用 GPT-5 优化分子克隆实验方案,同时探讨 AI 辅助实验的潜力与风险。
Google DeepMind 宣布与英国 AI Security Institute(AISI)签署新谅解备忘录,将合作从模型测试扩展到基础安全研究。双方将共享专有模型、数据与思路,并联合发布报告,重点研究 AI 思维链(CoT)监控、社会情感错位以及 AI 对经济系统的影响。
OpenAI 发布 GPT-5 系统卡更新,将 GPT-5.2 纳入 GPT-5 系列。GPT-5.2 是 GPT-5 系列的最新模型家族,其安全缓解措施与 GPT-5 系统卡和 GPT-5.1 系统卡中描述的基本相同。与 OpenAI 其他模型一样,GPT-5.2 的训练数据包括互联网公开信息、通过第三方合作获取的信息,以及用户或人类训练师与研究人员提供或生成的信息。
推荐理由:官方系统卡更新说明 GPT-5.2 的安全缓解措施与 GPT-5 系列基本一致,可了解新模型的安全口径。
Google 在 COLM 2025 论文中提出 Urania 框架,通过差分隐私聚类与关键词提取,从 LLM 聊天机器人对话中生成使用洞察,且不泄露单条对话信息。该框架的隐私保证是数学性的而非启发式的,LLM 只基于匿名关键词生成摘要,不接触原始对话。与 Simple-CLIO 基线对比,LLM 评估器在最高 70% 的情况下更偏好其隐私摘要。
OpenAI 正随 AI 模型网络安全能力增强而加大防护与防御能力投入,并说明其如何评估风险、限制滥用,以及与安全社区合作强化网络韧性。
OpenAI 研究人员正在测试一种名为"confessions"的方法,训练模型主动承认自己犯错或做出不当行为,以提升 AI 的诚实性、透明度以及模型输出的可信度。
OpenAI 将提供最高 200 万美元资助,用于 AI 与心理健康交叉领域的研究。该计划支持研究现实世界中的风险、收益与应用,以提升安全性和福祉。
OpenAI 披露一起涉及 Mixpanel 的安全事件,波及有限的 API 分析数据,但 API 内容、凭证和支付信息均未泄露。OpenAI 同时说明了事件经过及正在采取的用户保护措施。
OpenAI 与独立专家合作评估前沿 AI 系统,借助第三方测试强化安全保障、验证防护措施,并提升模型能力与风险评估的透明度。
OpenAI 发布 GPT-5.1-Codex-Max 系统卡,说明为该模型实施的安全措施。系统卡涵盖模型层缓解措施,包括针对有害任务和提示词注入的专门安全训练,以及产品层措施,如智能体沙箱和可配置网络访问。
推荐理由:系统卡披露了 GPT-5.1-Codex-Max 在模型层与产品层采取的安全措施,可了解其防护思路。
OpenAI 正在探索机制可解释性,以理解神经网络如何进行推理。其提出的稀疏模型方法有望让 AI 系统更透明,并支持更安全、更可靠的行为。
OpenAI 发布 GPT-5 系统卡增补,给出 GPT-5.1 Instant 和 GPT-5.1 Thinking 的更新安全指标。增补还包含针对心理健康与情感依赖的新评估。
推荐理由:OpenAI 公布 GPT-5.1 两个版本的安全指标,并新增心理健康与情感依赖评估,可了解其安全评测口径的变化。
OpenAI 发文解析提示词注入这一 AI 系统面临的前沿安全挑战,说明此类攻击的运作方式,并介绍 OpenAI 在推进相关研究、训练模型以及为用户构建防护措施方面的进展。
OpenAI 发布 Teen Safety Blueprint,为负责任地构建 AI 提供路线图,涵盖安全防护、适龄设计与协作机制,以保护和赋能青少年上网。
OpenAI 发布 Aardvark,一款 AI 驱动的安全研究员,可自主发现、验证并协助修复软件漏洞。该系统目前处于私测阶段,可报名参与早期测试。
Google Research 提出可证明隐私洞察(PPI),结合 LLM、差分隐私(DP)与可信执行环境(TEE),在保证个体数据不可被查看、聚合结果匿名的前提下分析 GenAI 工具的使用情况。
推荐理由:Google 把 LLM、差分隐私与 TEE 组合成可外部验证的隐私分析流程,读者可了解端侧数据洞察的工程路径。
OpenAI 发布 gpt-oss-safeguard 技术报告,介绍 gpt-oss-safeguard-120b 和 gpt-oss-safeguard-20b 两个开放权重推理模型。二者基于 gpt-oss 模型后训练,能依据给定策略进行推理并为内容打标,报告同时给出以原 gpt-oss 模型为基线的安全评估结果。
OpenAI 发布 gpt-oss-safeguard,这是一组用于安全分类的开放权重推理模型。开发者可以基于它应用并迭代自定义策略。
推荐理由:OpenAI 发布面向安全分类的开放权重推理模型,开发者可据此自定义并迭代策略。
Doppel 基于 GPT-5 和强化微调构建 AI 防御系统,用于拦截深度伪造与冒充攻击,将分析师工作量削减 80%,响应时间从数小时缩短至数分钟。
Hugging Face 发布博客提出“语音同意门”(voice consent gate),让模型只有在说话人明确说出同意语句并被 ASR 识别后才启动声音克隆。
OpenAI 为 GPT-5 系统卡发布增补说明,详述其在处理敏感对话方面的改进,并新增情绪依赖、心理健康和抗越狱三项基准测试。
OpenAI 与 170 多位心理健康专家合作,提升 ChatGPT 识别痛苦情绪、共情回应并引导用户寻求现实支持的能力,将不安全回应减少最多 80%。
推荐理由:OpenAI 与 170 多位心理健康专家合作改进 ChatGPT 在敏感对话中的回应,并给出不安全回应下降幅度这一可核查指标。