跳到正文

#安全/对齐

今日 0 条
2月5日周四
2月1日周日
1月28日周三
1月20日周二
12月23日周二
12月22日周一
  1. OpenAI News60

    OpenAI 持续加固 ChatGPT Atlas 抵御提示词注入

    OpenAI 正在用基于强化学习训练的自动化红队手段加固 ChatGPT Atlas,抵御提示词注入攻击。这一发现与修补的循环有助于尽早识别新型攻击手法,并随着 AI 智能体能力增强持续强化浏览器智能体的防御。

    推荐理由:官方说明 ChatGPT Atlas 用自动化红队加强化学习持续发现并修补提示词注入漏洞,可了解浏览器智能体的安全加固思路。

12月18日周四
12月16日周二
12月11日周四
  1. OpenAI News67

    OpenAI 更新 GPT-5 系统卡,纳入 GPT-5.2

    OpenAI 发布 GPT-5 系统卡更新,将 GPT-5.2 纳入 GPT-5 系列。GPT-5.2 是 GPT-5 系列的最新模型家族,其安全缓解措施与 GPT-5 系统卡和 GPT-5.1 系统卡中描述的基本相同。与 OpenAI 其他模型一样,GPT-5.2 的训练数据包括互联网公开信息、通过第三方合作获取的信息,以及用户或人类训练师与研究人员提供或生成的信息。

    推荐理由:官方系统卡更新说明 GPT-5.2 的安全缓解措施与 GPT-5 系列基本一致,可了解新模型的安全口径。

  2. Google Research26

    Google 提出 Urania:用差分隐私框架分析 AI 聊天机器人使用情况

    Google 在 COLM 2025 论文中提出 Urania 框架,通过差分隐私聚类与关键词提取,从 LLM 聊天机器人对话中生成使用洞察,且不泄露单条对话信息。该框架的隐私保证是数学性的而非启发式的,LLM 只基于匿名关键词生成摘要,不接触原始对话。与 Simple-CLIO 基线对比,LLM 评估器在最高 70% 的情况下更偏好其隐私摘要。

12月10日周三
12月3日周三
12月1日周一
11月27日周四
11月19日周三
  1. OpenAI News62

    OpenAI 发布 GPT-5.1-Codex-Max 系统卡

    OpenAI 发布 GPT-5.1-Codex-Max 系统卡,说明为该模型实施的安全措施。系统卡涵盖模型层缓解措施,包括针对有害任务和提示词注入的专门安全训练,以及产品层措施,如智能体沙箱和可配置网络访问。

    推荐理由:系统卡披露了 GPT-5.1-Codex-Max 在模型层与产品层采取的安全措施,可了解其防护思路。

11月13日周四
11月12日周三
11月7日周五
11月6日周四
10月30日周四
  1. Google Research62

    Google 提出可证明隐私洞察 PPI,用 LLM 与差分隐私分析 GenAI 使用数据

    Google Research 提出可证明隐私洞察(PPI),结合 LLM、差分隐私(DP)与可信执行环境(TEE),在保证个体数据不可被查看、聚合结果匿名的前提下分析 GenAI 工具的使用情况。

    推荐理由:Google 把 LLM、差分隐私与 TEE 组合成可外部验证的隐私分析流程,读者可了解端侧数据洞察的工程路径。

10月29日周三
10月28日周二
10月27日周一
  1. OpenAI News62

    OpenAI 改进 ChatGPT 在敏感对话中的回应

    OpenAI 与 170 多位心理健康专家合作,提升 ChatGPT 识别痛苦情绪、共情回应并引导用户寻求现实支持的能力,将不安全回应减少最多 80%。

    推荐理由:OpenAI 与 170 多位心理健康专家合作改进 ChatGPT 在敏感对话中的回应,并给出不安全回应下降幅度这一可核查指标。