OpenAI 发布 Operator 系统卡
OpenAI 发布 Operator 系统卡，说明其基于既有安全框架采取的多层防护措施，包括针对提示词工程和越狱的模型与产品层缓解手段，以及隐私和安全保护。文档还介绍了外部红队测试、安全评估，以及持续改进这些防护的后续工作。
推荐理由：OpenAI 公开 Operator 的系统卡，说明其在提示词攻击、隐私与红队测试上的多层防护设计。
安全对齐
全部主题AI 安全与对齐：越狱与防御、模型行为研究、安全评测与治理框架的进展。
最新精选
第 61–80 条 · 共 80 条OpenAI News精选AI 评分6262
OpenAI News精选AI 评分6262 OpenAI 发布 o1 系统卡
OpenAI 发布 o1 系统卡，说明在发布 o1 和 o1-mini 之前开展的安全工作，包括外部红队测试以及依据 Preparedness Framework 进行的前沿风险评估。
推荐理由：系统卡披露 o1 与 o1-mini 发布前的红队测试与前沿风险评估流程，可了解其安全评估框架。
Hugging Face Blog精选AI 评分6565 Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 发布 SynthID Text 文本水印
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text，可通过 logits processor 为 AI 生成文本加水印，并用分类器检测。
推荐理由：Google DeepMind 与 Hugging Face 把文本水印做成可直接调用的生成接口，读者可据此了解其配置方式与检测流程。
OpenAI News精选AI 评分6262 OpenAI 发布 GPT-4o 系统卡
OpenAI 发布 GPT-4o 系统卡，用于说明该模型在安全与对齐方面的评估情况。原文正文未能获取，具体内容暂不可知。
Hugging Face Blog精选AI 评分6262 Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope
Google 在 Gemma 2 发布一个月后扩充模型家族，新增 2.6B 参数的 Gemma 2 2B（含 base 与指令微调版），适合端侧使用。同时发布 ShieldGemma 安全分类器系列（2B、9B、27B），用于过滤应用输入输出，以及面向 Gemma 2 2B 和 9B 每一层的稀疏自编码器套件 Gemma Scope。
推荐理由：Google 一次补齐 Gemma 2 的小尺寸、安全分类器和可解释性工具，读者可据此判断端侧部署与内容审核的可用组合。
OpenAI News精选AI 评分6262 OpenAI 用 GPT-4 训练 CriticGPT 查找 ChatGPT 回复错误
OpenAI 发布基于 GPT-4 的模型 CriticGPT，用于对 ChatGPT 的回复撰写批评意见，帮助人类训练员在 RLHF 过程中发现错误。
推荐理由：OpenAI 提出用 GPT-4 训练的 CriticGPT 辅助人类标注者发现 ChatGPT 回复中的错误，可用于理解 RLHF 环节的质量控制思路。
Hugging Face Blog精选AI 评分6060 Hugging Face 披露 Spaces 密钥遭未授权访问并公布安全更新
Hugging Face 本周检测到 Spaces 平台遭未授权访问，涉及 Spaces secrets，怀疑部分密钥可能被未经授权读取，已撤销相关 HF token 并邮件通知受影响用户。
推荐理由：官方披露 Spaces 密钥遭未授权访问及处置措施，可了解平台安全策略的调整方向。
OpenAI News精选AI 评分6060 OpenAI 封禁与俄罗斯相关账号操作“Bad Grammar”
OpenAI 封禁了一批与一个此前未报告的俄罗斯来源操作相关的账号，该操作被命名为“Bad Grammar”。这些账号利用 AI 在 Telegram 上生成英语和俄语评论，内容涉及乌克兰、摩尔多瓦、波罗的海地区及美国政治。
推荐理由：OpenAI 披露一起此前未报告的俄罗斯相关账号操作，读者可了解平台对 AI 生成政治评论的处置方式。
OpenAI News精选AI 评分6060 OpenAI 封禁与以色列相关影响力行动 Zero Zeno 关联账号
OpenAI 封禁了一批与一项此前未被报道的以色列来源影响力行动关联的账号，该行动被其命名为 Zero Zeno。这些账号使用 AI 生成反哈马斯、反卡塔尔、亲以色列、反印度人民党以及亲以色列总工会的内容。
推荐理由：OpenAI 披露封禁一批与以色列相关影响力行动关联的账号，可了解平台对 AI 滥用账号的处置口径。
OpenAI News精选AI 评分6262 OpenAI 称已阻断国家关联威胁行为者对 AI 的恶意使用
OpenAI 发布公告，称已阻断国家关联威胁行为者对 AI 的恶意使用。原文正文未能获取，仅标题可用。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布用开源模型实现 Constitutional AI 的完整配方
Hugging Face 发布了一套用开源模型实现 Constitutional AI（CAI）的端到端配方，并开源了 llm-swarm 工具，用于在 GPU Slurm 集群上基于 TGI 和 vLLM 进行可扩展的合成数据生成。
推荐理由：Hugging Face 给出用开源模型复现 Constitutional AI 的完整配方，含数据集、模型与 Slurm 集群推理工具，可迁移到自定义对齐流程。
OpenAI News精选AI 评分6262 OpenAI 提出弱到强泛化：用弱监督者控制强模型
OpenAI 提出面向超级对齐的新研究方向“弱到强泛化”，并给出初步结果，探讨能否利用深度学习的泛化特性，用较弱的监督者控制更强的模型。
推荐理由：OpenAI 提出用弱监督者控制强模型的研究方向，并给出初步结果，可供了解超级对齐的一种思路。
OpenAI News精选AI 评分6262 OpenAI 发布 DALL·E 3 系统卡
OpenAI 发布 DALL·E 3 系统卡，用于说明该图像生成模型在安全与对齐方面的评估情况。
Hugging Face Blog精选AI 评分6262 Safetensors 通过外部安全审计，将成 transformers 默认格式
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库做外部安全审计，未发现可导致任意代码执行的关键安全漏洞，并修复了规范格式不精确和允许 polyglot 文件的校验缺失问题。
推荐理由：外部安全审计确认 safetensors 无任意代码执行漏洞，并给出其成为默认保存格式的推进节奏。
OpenAI News精选AI 评分6262 OpenAI 发布 AGI 及更远未来的规划
OpenAI 发布文章阐述其对 AGI 及更远未来的规划，称其使命是确保比人类更聪明的通用人工智能造福全人类。
推荐理由：OpenAI 官方阐述 AGI 使命与长期规划，可了解其对通用人工智能安全与治理的立场。
OpenAI News精选AI 评分6262 OpenAI 训练批评写作模型，帮助人类发现摘要缺陷
OpenAI 训练了批评写作模型，用于描述摘要中的缺陷。人类评估者在看到模型给出的批评后，发现摘要缺陷的频率明显提高。研究还发现，模型规模越大自我批评能力越强，且规模对批评写作的提升大于对摘要写作的提升，这为用 AI 系统辅助人类监督 AI 系统提供了可能。
推荐理由：OpenAI 用模型写批评来辅助人类发现摘要缺陷，并观察到规模对自我批评能力的提升更明显。
OpenAI News精选AI 评分8282 OpenAI 发布 InstructGPT，成为 API 默认语言模型
OpenAI 训练出 InstructGPT 模型，在遵循用户意图方面明显优于 GPT-3，同时更真实、毒性更低，训练过程引入人类反馈。这些模型现已作为 OpenAI API 的默认语言模型部署。
推荐理由：OpenAI 说明 InstructGPT 通过人类反馈训练，在遵循用户意图、真实性和毒性上优于 GPT-3，并已成为 API 默认模型。
OpenAI News精选AI 评分6060 OpenAI 联合多家机构发布 AI 恶意使用预测论文
OpenAI 与 Future of Humanity Institute、Centre for the Study of Existential Risk、Center for a New American Security。
推荐理由：OpenAI 联合多家机构用近一年时间梳理 AI 被恶意滥用的可能路径与防范思路，可作为早期 AI 安全治理讨论的参照。
OpenAI News精选AI 评分6262 OpenAI 生成可跨尺度与视角欺骗神经网络的对抗图像
OpenAI 表示已生成能从不同尺度和视角稳定欺骗神经网络分类器的图像。这一结果对上周提出的说法构成挑战，即自动驾驶汽车因从多个尺度、角度和视角采集图像而难以被恶意欺骗。
推荐理由：OpenAI 展示可跨尺度与视角稳定欺骗分类器的对抗样本，为评估多视角感知的鲁棒性提供了反例。
OpenAI News精选AI 评分6262 OpenAI 与 DeepMind 合作研究从人类偏好中学习
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类在两种候选行为中指出哪个更好，来推断人类想要的目标。OpenAI 称，构建安全 AI 系统的一步是免去人类编写目标函数的需要，因为用简单代理替代复杂目标或把复杂目标写偏，可能导致不良甚至危险的行为。
推荐理由：OpenAI 与 DeepMind 安全团队合作提出从人类偏好推断目标的方法，可了解早期对齐研究的一条思路。