OpenAI 宣布推出 OpenAI Safety Fellowship
OpenAI 宣布启动 Safety Fellowship 试点项目，旨在支持独立的安全与对齐研究，并培养下一代人才。该项目为试点性质，具体资助规模、申请条件与时间安排尚未在公告中披露。
#安全/对齐
#安全/对齐
今日 5 条OpenAI NewsAI 评分3636
Google ResearchAI 评分4040 Google Research 发布 LLM 行为倾向对齐评估框架
Google Research 提出一套评估 LLM 行为倾向与人类共识对齐程度的框架，将 IRI、ERQ 等心理问卷改编为情境判断测试（SJT），在 25 个 LLM 上测试共情、情绪调节等四类特质。
Google Research精选AI 评分6666 Google Quantum AI 发布白皮书：量子计算机破解加密货币椭圆曲线密码所需资源大幅下降
Google Quantum AI 发布白皮书，称未来量子计算机破解保护加密货币的椭圆曲线密码（ECDLP-256）所需的量子比特和门数比此前估计更少。
推荐理由：Google Quantum AI 给出破解 ECDLP-256 的最新量子资源估算，并用零知识证明公开结论，读者可了解量子威胁与后量子迁移的紧迫性。
Google DeepMind精选AI 评分6262 Google DeepMind 发布有害操纵评估研究：首个经实证验证的测量工具包
Google DeepMind 发布关于 AI 有害操纵的新研究，称其为首个经实证验证、可在真实世界测量此类操纵的工具包，并公开运行同类人类参与者研究所需的全部材料。
推荐理由：Google DeepMind 公开了首个经实证验证的有害操纵测量工具包，并给出跨英、美、印三国万人实验的关键结论。
OpenAI NewsAI 评分2222 OpenAI 解读其 Model Spec 方法：模型行为的公开框架
OpenAI 的 Model Spec 是一套公开的模型行为框架，用于在 AI 系统演进过程中平衡安全、用户自由与问责。该框架面向模型行为设定公开标准，并随 AI 能力提升持续调整。
OpenAI News精选AI 评分6060 OpenAI 推出安全漏洞赏金计划
OpenAI 推出 Safety Bug Bounty 计划，用于识别 AI 滥用与安全风险，覆盖范围包括智能体漏洞、提示注入和数据外泄。
推荐理由：OpenAI 把智能体漏洞、提示注入和数据外泄纳入漏洞赏金范围，读者可了解其安全风险覆盖边界。
OpenAI NewsAI 评分2727 OpenAI 为开发者发布基于提示词的青少年安全策略，适配 gpt-oss-safeguard
OpenAI 发布面向开发者的青少年安全策略，基于提示词实现，配合 gpt-oss-safeguard 对 AI 系统中与年龄相关的风险进行内容审核。该策略旨在帮助开发者构建更安全的青少年 AI 体验。
OpenAI NewsAI 评分4242 OpenAI 如何为 Sora 2 与 Sora 应用构建安全基础
OpenAI 针对视频模型 Sora 2 及新社交创作平台 Sora 应用带来的新型安全挑战，将安全作为设计基础，并以具体防护措施为支撑。
OpenAI NewsAI 评分4242 OpenAI 如何监控内部编码智能体的失准行为
OpenAI 利用思维链监控研究内部编码智能体的失准问题，通过分析真实部署环境来检测风险并强化 AI 安全保障措施。
Google DeepMindAI 评分4646 Google DeepMind 发布 AGI 认知框架，并启动 Kaggle 黑客松构建评测
Google DeepMind 发布论文《Measuring Progress Toward AGI: A Cognitive Taxonomy》，提出用认知科学衡量 AGI 进展的框架，涵盖感知、生成、注意力、学习、记忆、推理、元认知、执行功能、问题解决和社会认知 10 项认知能力，并配套三阶段评测协议。
OpenAI NewsAI 评分3030 OpenAI Japan 发布日本青少年安全蓝图，将青少年安全置于首位
OpenAI Japan 发布日本青少年安全蓝图，为使用生成式 AI 的青少年引入更严格的年龄保护、家长控制和身心健康保障措施。
OpenAI NewsAI 评分3838 Codex Security 为何不提供 SAST 报告
OpenAI 详解 Codex Security 为何不依赖传统 SAST，转而用 AI 驱动的约束推理与验证来发现真实漏洞，并减少误报。
OpenAI NewsAI 评分4040 OpenAI 如何设计 AI 智能体抵御提示词注入
OpenAI 介绍了 ChatGPT 在智能体工作流中抵御提示词注入与社会工程攻击的设计思路：通过限制高风险操作、保护敏感数据来降低风险。
OpenAI News精选AI 评分6262 OpenAI 用 IH-Challenge 改进前沿大模型的指令层级
OpenAI 发布 IH-Challenge，用于训练模型优先执行可信指令，从而改进指令层级、安全可控性并提升对提示注入攻击的抵抗能力。
推荐理由：OpenAI 提出 IH-Challenge 训练方法，读者可了解前沿模型指令层级与抗提示注入的一条技术路径。
OpenAI News精选AI 评分6262 OpenAI 宣布收购 AI 安全平台 Promptfoo
OpenAI 宣布收购 AI 安全平台 Promptfoo。Promptfoo 帮助企业在开发阶段识别并修复 AI 系统中的漏洞。
推荐理由：OpenAI 收购 AI 安全平台 Promptfoo，读者可了解其在企业 AI 安全测试环节的布局方向。
OpenAI NewsAI 评分5555 OpenAI 提出 CoT-Control：推理模型难以控制自身思维链
OpenAI 提出 CoT-Control，发现推理模型难以控制自己的思维链，并认为这一特性强化了可监控性作为 AI 安全保障的价值。
OpenAI NewsAI 评分4242 OpenAI 更新心理健康相关工作：家长控制、可信联系人、痛苦检测与诉讼进展
OpenAI 公布其心理健康安全工作的最新进展，包括家长控制、可信联系人、改进的痛苦检测，以及近期诉讼方面的动态。
OpenAI NewsAI 评分2222 OpenAI 发布 2026 年 2 月威胁报告：AI 恶意使用与防御
OpenAI 最新威胁报告分析了恶意行为者如何将 AI 模型与网站、社交平台结合使用，以及这对检测与防御意味着什么。报告聚焦此类组合式滥用手法带来的识别挑战。
OpenAI NewsAI 评分4040 OpenAI 向 The Alignment Project 投入 750 万美元，资助 AI 对齐独立研究
OpenAI 承诺向 The Alignment Project 投入 750 万美元，用于资助独立的 AI 对齐研究，以加强全球应对 AGI 安全与安保风险的努力。
OpenAI NewsAI 评分3838 OpenAI 与 Paradigm 推出 EVMbench，评测 AI 智能体发现与利用智能合约漏洞能力
OpenAI 与 Paradigm 联合推出 EVMbench，用于评测 AI 智能体检测、修补和利用高危智能合约漏洞的能力。该基准聚焦高严重性漏洞的发现、修复与攻击三个环节。
OpenAI News精选AI 评分6262 OpenAI 在 ChatGPT 中推出 Lockdown Mode 与 Elevated Risk 标签
OpenAI 在 ChatGPT 中推出 Lockdown Mode 和 Elevated Risk 标签，帮助组织防御提示词注入和 AI 驱动的数据外泄。
推荐理由：OpenAI 为 ChatGPT 增加 Lockdown Mode 与 Elevated Risk 标签，用于应对提示词注入和数据外泄风险。
OpenAI News精选AI 评分6060 OpenAI 推出 Trusted Access for Cyber 可信访问框架
OpenAI 推出 Trusted Access for Cyber，一个基于信任的框架，在扩大前沿网络安全能力访问的同时加强对滥用的防护。
推荐理由：OpenAI 推出面向网络安全的可信访问框架，读者可了解其在开放前沿能力与防范滥用之间的取舍思路。
OpenAI News精选AI 评分6060 OpenAI 封禁与中国执法相关人员关联的账号
OpenAI 封禁了一个与中国执法部门相关人员关联的账号，该账号利用 AI 策划影响力活动、骚扰和网络行动。
推荐理由：OpenAI 披露封禁与中国执法部门相关人员关联账号，可了解平台对滥用行为的处置口径。
OpenAI NewsAI 评分4242 OpenAI 封禁与 Rybar 网络关联的账号：AI 驱动的多语言影响力行动
OpenAI 封禁了与 Rybar 网络关联的账号，其中部分账号可能源自俄罗斯，这些账号利用 AI 在网站和社交平台上支持多语言影响力活动。
OpenAI NewsAI 评分5858 OpenAI 封禁冒充追损服务与执法机构的账号
OpenAI 封禁了一批很可能源自柬埔寨的账号，这些账号用 AI 冒充追损服务、律所和执法机构，目标指向曾遭遇诈骗的人。
OpenAI NewsAI 评分4040 OpenAI 封禁疑似中国来源账号：利用 AI 搜集美国人员与地点信息
OpenAI 封禁了一批疑似中国来源的账号，这些账号利用 AI 研究美国人员、地点及社会工程学手法。
OpenAI News精选AI 评分6060 OpenAI 封禁用于恋爱诈骗流程的账号
OpenAI 封禁了一批利用 AI 支持恋爱诈骗流程的账号，涉及接触目标、翻译、与受害者互动以及投资诈骗诱饵等环节。
推荐理由：OpenAI 披露封禁用于恋爱诈骗流程的账号，读者可了解平台对滥用行为的界定与处置范围。
OpenAI NewsAI 评分5858 OpenAI 封禁疑似俄罗斯来源的 No Bell 行动相关账号
OpenAI 封禁了一批与代号 No Bell 行动相关的账号，该行动此前未被报道，疑似源自俄罗斯。这些账号利用 AI 生成针对美国及其盟友的批评内容，面向非洲受众传播。
OpenAI NewsAI 评分4040 OpenAI 封禁疑似源自柬埔寨的 AI 诈骗账号，针对印尼交友用户
OpenAI 封禁了一批很可能源自柬埔寨的账号，这些账号利用 AI 对印尼交友用户实施诈骗，包括翻译和互动。该行动代号“Date Bait”。
OpenAI NewsAI 评分5858 OpenAI 封禁与俄罗斯关联的“Trolling Stone”影响力行动账号
OpenAI 封禁了一批与名为“Trolling Stone”的行动相关的账号，该行动此前未被报告，利用 AI 生成关于一名据称俄罗斯邪教领袖在阿根廷被捕的评论。
OpenAI NewsAI 评分1212 OpenAI 启动 EMEA 青年与福祉资助计划
OpenAI 推出 EMEA Youth & Wellbeing Grant，投入 50 万欧元资助非政府组织和研究人员，用于推进 AI 时代的青年安全与福祉。该计划现已开放申请。
OpenAI NewsAI 评分3636 OpenAI 如何保障 AI 智能体点击链接时的数据安全
OpenAI 说明了 AI 智能体打开链接时如何保护用户数据，防范基于 URL 的数据外泄与提示词注入，并内置了相应防护措施。
OpenAI NewsAI 评分4242 OpenAI 为 ChatGPT 推出年龄预测功能
ChatGPT 正在推出年龄预测功能，用于判断账号用户是否年满 18 岁，并据此为青少年启用相应保护措施。OpenAI 表示该功能会随时间推移持续优化准确率。
Hugging Face BlogAI 评分4242 AprielGuard：面向现代 LLM 系统的安全与对抗鲁棒性护栏模型
Hugging Face 发布 8B 参数安全护栏模型 AprielGuard，可检测 16 类安全风险及提示注入、越狱、思维链污染、记忆投毒、多智能体攻击序列等对抗攻击，并覆盖工具调用与推理轨迹等智能体工作流场景。模型提供推理与非推理两种模式，兼顾可解释分类与低延迟生产部署。
OpenAI News精选AI 评分6060 OpenAI 持续加固 ChatGPT Atlas 抵御提示词注入
OpenAI 正在用基于强化学习训练的自动化红队手段加固 ChatGPT Atlas，抵御提示词注入攻击。这一发现与修补的循环有助于尽早识别新型攻击手法，并随着 AI 智能体能力增强持续强化浏览器智能体的防御。
推荐理由：官方说明 ChatGPT Atlas 用自动化红队加强化学习持续发现并修补提示词注入漏洞，可了解浏览器智能体的安全加固思路。
OpenAI NewsAI 评分3636 OpenAI 发布思维链可监控性评估框架与评测套件
OpenAI 推出面向思维链可监控性的新框架与评测套件，覆盖 24 种环境下的 13 项评估。结果显示，监控模型内部推理远比仅监控输出更有效，为 AI 系统能力提升后的可扩展控制提供了可行路径。
OpenAI NewsAI 评分2222 OpenAI 面向青少年和家长发布 AI 素养资源
OpenAI 发布面向青少年和家长的 AI 素养资源，帮助其更审慎、安全地使用 ChatGPT。指南包含经专家审核的建议，涵盖负责任使用、批判性思维、健康边界，以及如何支持青少年应对情绪或敏感话题。
OpenAI NewsAI 评分3131 OpenAI 更新 Model Spec，新增未成年人保护原则
OpenAI 更新 Model Spec，新增 Under-18 Principles，规定 ChatGPT 应基于发展科学为青少年提供安全、适龄的引导。此次更新强化了防护栏，并明确了模型在更高风险情境下的预期行为，是 OpenAI 改善 ChatGPT 青少年安全整体工作的一部分。
Google DeepMindAI 评分5757 Google DeepMind 发布 Gemma Scope 2 可解释性工具套件
Google DeepMind 发布 Gemma Scope 2，一套面向 Gemma 3 全系列模型（270M 至 27B 参数）的开源可解释性工具，结合稀疏自编码器（SAEs）与 transcoders 查看模型内部计算。
OpenAI NewsAI 评分4040 OpenAI 发布评估框架，衡量 AI 加速生物研究的能力
OpenAI 推出一个真实世界评估框架，用于衡量 AI 加速湿实验室生物研究的能力。该工作使用 GPT-5 优化分子克隆实验方案，同时探讨 AI 辅助实验的潜力与风险。