OpenAI 宣布收购 AI 安全平台 Promptfoo
OpenAI 宣布收购 AI 安全平台 Promptfoo。Promptfoo 帮助企业在开发阶段识别并修复 AI 系统中的漏洞。
推荐理由：OpenAI 收购 AI 安全平台 Promptfoo，读者可了解其在企业 AI 安全测试环节的布局方向。
安全对齐
全部主题AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
最新精选
第 41–60 条 · 共 80 条OpenAI News精选AI 评分6262
OpenAI News精选AI 评分6262 OpenAI 在 ChatGPT 中推出 Lockdown Mode 与 Elevated Risk 标签
OpenAI 在 ChatGPT 中推出 Lockdown Mode 和 Elevated Risk 标签，帮助组织防御提示词注入和 AI 驱动的数据外泄。
推荐理由：OpenAI 为 ChatGPT 增加 Lockdown Mode 与 Elevated Risk 标签，用于应对提示词注入和数据外泄风险。
OpenAI News精选AI 评分6060 OpenAI 推出 Trusted Access for Cyber 可信访问框架
OpenAI 推出 Trusted Access for Cyber，一个基于信任的框架，在扩大前沿网络安全能力访问的同时加强对滥用的防护。
推荐理由：OpenAI 推出面向网络安全的可信访问框架，读者可了解其在开放前沿能力与防范滥用之间的取舍思路。
OpenAI News精选AI 评分6060 OpenAI 封禁与中国执法相关人员关联的账号
OpenAI 封禁了一个与中国执法部门相关人员关联的账号，该账号利用 AI 策划影响力活动、骚扰和网络行动。
推荐理由：OpenAI 披露封禁与中国执法部门相关人员关联账号，可了解平台对滥用行为的处置口径。
OpenAI News精选AI 评分6060 OpenAI 封禁用于恋爱诈骗流程的账号
OpenAI 封禁了一批利用 AI 支持恋爱诈骗流程的账号，涉及接触目标、翻译、与受害者互动以及投资诈骗诱饵等环节。
推荐理由：OpenAI 披露封禁用于恋爱诈骗流程的账号，读者可了解平台对滥用行为的界定与处置范围。
OpenAI News精选AI 评分6060 OpenAI 持续加固 ChatGPT Atlas 抵御提示词注入
OpenAI 正在用基于强化学习训练的自动化红队手段加固 ChatGPT Atlas，抵御提示词注入攻击。这一发现与修补的循环有助于尽早识别新型攻击手法，并随着 AI 智能体能力增强持续强化浏览器智能体的防御。
推荐理由：官方说明 ChatGPT Atlas 用自动化红队加强化学习持续发现并修补提示词注入漏洞，可了解浏览器智能体的安全加固思路。
OpenAI News精选AI 评分6767 OpenAI 更新 GPT-5 系统卡，纳入 GPT-5.2
OpenAI 发布 GPT-5 系统卡更新，将 GPT-5.2 纳入 GPT-5 系列。GPT-5.2 是 GPT-5 系列的最新模型家族，其安全缓解措施与 GPT-5 系统卡和 GPT-5.1 系统卡中描述的基本相同。与 OpenAI 其他模型一样，GPT-5.2 的训练数据包括互联网公开信息、通过第三方合作获取的信息，以及用户或人类训练师与研究人员提供或生成的信息。
推荐理由：官方系统卡更新说明 GPT-5.2 的安全缓解措施与 GPT-5 系列基本一致，可了解新模型的安全口径。
OpenAI News精选AI 评分6262 OpenAI 发布 GPT-5.1-Codex-Max 系统卡
OpenAI 发布 GPT-5.1-Codex-Max 系统卡，说明为该模型实施的安全措施。系统卡涵盖模型层缓解措施，包括针对有害任务和提示词注入的专门安全训练，以及产品层措施，如智能体沙箱和可配置网络访问。
推荐理由：系统卡披露了 GPT-5.1-Codex-Max 在模型层与产品层采取的安全措施，可了解其防护思路。
OpenAI News精选AI 评分6262 OpenAI 发布 GPT-5.1 Instant 与 GPT-5.1 Thinking 系统卡增补
OpenAI 发布 GPT-5 系统卡增补，给出 GPT-5.1 Instant 和 GPT-5.1 Thinking 的更新安全指标。增补还包含针对心理健康与情感依赖的新评估。
推荐理由：OpenAI 公布 GPT-5.1 两个版本的安全指标，并新增心理健康与情感依赖评估，可了解其安全评测口径的变化。
Google Research精选AI 评分6262 Google 提出可证明隐私洞察 PPI，用 LLM 与差分隐私分析 GenAI 使用数据
Google Research 提出可证明隐私洞察（PPI），结合 LLM、差分隐私（DP）与可信执行环境（TEE），在保证个体数据不可被查看、聚合结果匿名的前提下分析 GenAI 工具的使用情况。
推荐理由：Google 把 LLM、差分隐私与 TEE 组合成可外部验证的隐私分析流程，读者可了解端侧数据洞察的工程路径。
OpenAI News精选AI 评分6060 OpenAI 发布 gpt-oss-safeguard 开放权重安全分类模型
OpenAI 发布 gpt-oss-safeguard，这是一组用于安全分类的开放权重推理模型。开发者可以基于它应用并迭代自定义策略。
推荐理由：OpenAI 发布面向安全分类的开放权重推理模型，开发者可据此自定义并迭代策略。
OpenAI News精选AI 评分6262 OpenAI 改进 ChatGPT 在敏感对话中的回应
OpenAI 与 170 多位心理健康专家合作，提升 ChatGPT 识别痛苦情绪、共情回应并引导用户寻求现实支持的能力，将不安全回应减少最多 80%。
推荐理由：OpenAI 与 170 多位心理健康专家合作改进 ChatGPT 在敏感对话中的回应，并给出不安全回应下降幅度这一可核查指标。
OpenAI News精选AI 评分6262 OpenAI 封禁与俄语犯罪团伙关联的账号
OpenAI 封禁了一批可能与俄语犯罪团伙有关的账号，这些账号利用 AI 构建恶意软件加载器、规避层、凭据窃取脚本和 C2 基础设施。
推荐理由：OpenAI 披露封禁与俄语犯罪团伙关联账号，读者可了解 AI 被用于恶意软件工具链的具体环节。
OpenAI News精选AI 评分6767 OpenAI 发布 Sora 2 与 Sora 应用，强调安全优先
OpenAI 发布 Sora 2 和 Sora 应用，称二者从底层设计上以安全为基础，以应对先进视频模型与新型社交创作平台带来的新安全问题。官方表示其做法建立在具体防护措施之上。
推荐理由：官方说明 Sora 2 与 Sora 应用在安全机制上的设计取向，可了解视频模型与社交创作平台叠加后的防护思路。
Hugging Face Blog精选AI 评分6060 Hugging Face 联合推出 RiskRubric.ai，为模型提供标准化风险评估
Hugging Face 博客宣布 RiskRubric.ai，由 Cloud Security Alliance 和 Noma Security 主导、Haize Labs 与 Harmonic Security 参与，为模型提供标准化风险评估。
推荐理由：RiskRubric.ai 用统一标准给模型打风险分，读者可据此了解开源与闭源模型在安全维度上的差异。
OpenAI News精选AI 评分6060 OpenAI 与 Apollo Research 发布 AI 模型隐藏失配的检测与缓解研究
Apollo Research 与 OpenAI 开发了针对隐藏失配（scheming）的评测方法，在前沿模型的受控测试中发现了与 scheming 一致的行为。团队公开了具体案例，并对一种减少 scheming 的早期方法进行了压力测试。
推荐理由：OpenAI 与 Apollo Research 公开了隐藏失配的评测方法，并给出早期缓解手段的压力测试示例。
OpenAI News精选AI 评分6060 OpenAI 与 Anthropic 公布联合安全评估结果
OpenAI 与 Anthropic 公布首次联合安全评估的结果，双方互相测试对方模型在失准、指令遵循、幻觉、越狱等方面的表现。评估同时呈现了进展、挑战，以及跨实验室合作的价值。
推荐理由：两家头部实验室互相测试对方模型的对齐与越狱表现，读者可了解跨实验室安全评估的做法与发现。
Hugging Face Blog精选AI 评分6262 Meta 发布 Llama Guard 4 与 Llama Prompt Guard 2
Meta 发布 Llama Guard 4，一个从 Llama 4 Scout 剪枝而来的 12B 稠密多模态安全模型，可评估纯文本和图文输入，覆盖 MLCommons 定义的 14 类危害及代码解释器滥用，可在单张 24GB 显存 GPU 上运行。
推荐理由：Meta 发布 12B 多模态安全模型与两款提示注入分类器，并给出可直接运行的 transformers 示例。
OpenAI News精选AI 评分6262 OpenAI 发布 deep research 系统卡
OpenAI 发布 deep research 系统卡，说明该功能发布前开展的安全工作，包括外部红队测试、依据 Preparedness Framework 进行的前沿风险评估，以及针对关键风险领域所构建的缓解措施概览。
推荐理由：OpenAI 公开 deep research 发布前的安全评估流程，可了解外部红队与 Preparedness Framework 如何落地。
OpenAI News精选AI 评分6262 OpenAI 发布 o3-mini 系统卡
OpenAI 发布 o3-mini 系统卡，说明该模型的安全工作，包括安全评估、外部红队测试和 Preparedness Framework 评测。
推荐理由：官方系统卡披露 o3-mini 的安全评估、外部红队与 Preparedness Framework 评测范围，可了解其安全流程。