OpenAI 封禁与伊朗相关的影响力行动账号
OpenAI 封禁了一批与伊朗关联的账号，这些账号利用 AI 生成与 IUVM 和 STORM-2035 影响力行动相关的文章和社交帖子。
#安全/对齐
#安全/对齐
今日 5 条OpenAI NewsAI 评分4242
OpenAI News精选AI 评分6262 OpenAI 发布 o3-mini 系统卡
OpenAI 发布 o3-mini 系统卡，说明该模型的安全工作，包括安全评估、外部红队测试和 Preparedness Framework 评测。
推荐理由：官方系统卡披露 o3-mini 的安全评估、外部红队与 Preparedness Framework 评测范围，可了解其安全流程。
OpenAI News精选AI 评分6262 OpenAI 发布 Operator 系统卡
OpenAI 发布 Operator 系统卡，说明其基于既有安全框架采取的多层防护措施，包括针对提示词工程和越狱的模型与产品层缓解手段，以及隐私和安全保护。文档还介绍了外部红队测试、安全评估，以及持续改进这些防护的后续工作。
推荐理由：OpenAI 公开 Operator 的系统卡，说明其在提示词攻击、隐私与红队测试上的多层防护设计。
OpenAI NewsAI 评分3131 OpenAI 研究：用推理时计算换取对抗鲁棒性
OpenAI 提出通过增加推理时计算来提升模型的对抗鲁棒性，即以更多推理算力换取对对抗攻击的抵抗能力。该研究探讨了推理时计算与对抗鲁棒性之间的权衡关系。
Hugging Face BlogAI 评分2222 Hugging Face 发文：AI 智能体已来，我们该怎么做？
Hugging Face 发布文章指出，AI 智能体是基于 LLM 构建、能在数字世界中自主行动的系统，其风险随自主性等级上升而增加，因此建议不要开发可自行编写并执行代码的完全自主智能体。文章按自主程度将智能体分为五级，从模型不影响程序流程到模型自行编写并执行新代码，并认为半自主智能体在特定自主水平、任务范围和人类控制方式下可能收益大于风险。
OpenAI NewsAI 评分5757 OpenAI 提出审议式对齐：推理让语言模型更安全
OpenAI 为 o1 模型提出新的对齐策略“审议式对齐”，直接教模型安全规范以及如何对这些规范进行推理。该策略面向 o1 系列模型，目标是提升语言模型的安全性。
OpenAI News精选AI 评分6262 OpenAI 发布 o1 系统卡
OpenAI 发布 o1 系统卡，说明在发布 o1 和 o1-mini 之前开展的安全工作，包括外部红队测试以及依据 Preparedness Framework 进行的前沿风险评估。
推荐理由：系统卡披露 o1 与 o1-mini 发布前的红队测试与前沿风险评估流程，可了解其安全评估框架。
OpenAI NewsAI 评分2020 OpenAI 如何用人类与 AI 推进红队测试
OpenAI 发布文章阐述如何结合人类与 AI 推进红队测试。原文未披露具体模型版本、参数规模或评测分数等细节。
Mistral AIAI 评分4747 Mistral AI 发布内容审核 API，由 Le Chat 审核服务驱动
Mistral AI 推出内容审核 API，与 Le Chat 审核服务同源，提供原始文本和对话内容两个端点。该模型是基于 LLM 的分类器，可将文本归入 9 个类别，原生支持阿拉伯语、中文、英语、法语、德语等 11 种语言，并针对模型生成的有害内容（如不专业建议和 PII）引入务实的安全方案。
Hugging Face Blog精选AI 评分6565 Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 发布 SynthID Text 文本水印
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text，可通过 logits processor 为 AI 生成文本加水印，并用分类器检测。
推荐理由：Google DeepMind 与 Hugging Face 把文本水印做成可直接调用的生成接口，读者可据此了解其配置方式与检测流程。
Hugging Face BlogAI 评分4040 Hugging Face 与 Protect AI 合作，为 ML 社区提升模型安全
Hugging Face 宣布与 Protect AI 合作，将后者的 Guardian 扫描器集成进平台扫描套件，所有公开模型仓库在推送文件后会自动接受扫描。Guardian 可检测 pickle 及 Keras Lambda 层等格式的任意代码执行漏洞，平台已扫描数亿个文件，并同步改版前端展示扫描结果。
OpenAI NewsAI 评分2222 OpenAI 评估 ChatGPT 的公平性
OpenAI 分析了 ChatGPT 如何根据用户姓名做出不同回应，并借助 AI 研究助手保护隐私。该评估聚焦于模型输出中的公平性问题。
Hugging Face BlogAI 评分4848 Gradio 5 安全审计：Trail of Bits 发现的漏洞已全部修复
Hugging Face 委托 Trail of Bits 对 Gradio 5 完成独立安全审计，发现的漏洞均在 Gradio 5.0 发布前修复并通过验证。
OpenAI NewsAI 评分5252 OpenAI 封禁疑似中国关联的 SweetSpecter 账号
OpenAI 封禁了一批疑似属于中国关联对手 SweetSpecter 的账号，该对手利用 AI 研究漏洞、编写代码并支持鱼叉式钓鱼活动。
OpenAI NewsAI 评分3838 OpenAI 封禁伊朗关联组织 STORM-0817 的账号
OpenAI 封禁了与伊朗关联的 STORM-0817 账号，这些账号利用 AI 调试 Android 恶意软件、抓取社交平台数据并翻译工具。
OpenAI NewsAI 评分3838 OpenAI 封禁与 CyberAv3ngers 关联的账号
OpenAI 封禁了一批疑似属于 CyberAv3ngers 的账号，这些账号利用 AI 研究工业控制系统、默认凭据及攻击目标。该组织被指与伊朗有关联。
OpenAI NewsAI 评分5858 OpenAI 封禁俄罗斯来源的 Stop News 影响活动账号
OpenAI 封禁了一批俄罗斯来源的 Stop News 账号，这些账号使用 AI 生成多语言文章和帖子，针对乌克兰和西方国家。该行动属于 OpenAI 对恶意使用 AI 的处置。
OpenAI NewsAI 评分3333 OpenAI 封禁利用其模型在 X 上发送赌博垃圾链接的账号
OpenAI 封禁了一批通过一家以色列初创公司访问其模型、用于生成对话并在 X 上发送赌博网站链接的账号。这些账号借助该初创公司调用 OpenAI 模型，批量生成内容并推送赌博站点链接。
OpenAI NewsAI 评分4040 OpenAI 封禁利用 AI 起草针对越南公众人物的滥用举报账号
OpenAI 封禁了一批利用 AI 起草滥用举报和投诉的账号，这些举报针对越南公众人物和平台。
OpenAI NewsAI 评分3030 OpenAI 封禁用 AI 伪造 ChatGPT“俄罗斯水军”报错信息的账号
OpenAI 封禁了一个很可能源自美国的账号，该账号用 AI 生成虚假的 ChatGPT 报错信息，声称能检测“俄罗斯水军”活动。
OpenAI NewsAI 评分3838 OpenAI 封禁卢旺达选举前使用 AI 生成党派评论的账号
OpenAI 封禁了一批源自卢旺达的账号，这些账号在该国选举前使用 AI 生成党派性评论内容。
OpenAI NewsAI 评分3838 OpenAI 封禁利用 AI 生成多语言影响力内容的“A2Z”账号网络
OpenAI 封禁了名为“A2Z”的账号网络，这些账号利用 AI 生成涉及选举、乌克兰和政治的多语言影响力内容，并发布到多个平台。
OpenAI NewsAI 评分4242 OpenAI 封禁利用 AI 生成批评俄罗斯反腐基金会评论的账号
OpenAI 封禁了一批利用 AI 生成针对俄罗斯反腐基金会及相关人物批评评论的账号。
OpenAI NewsAI 评分5555 OpenAI 封禁伊朗来源 STORM-2035 账号，其用 AI 生成美英选举内容
OpenAI 封禁了伊朗来源的 STORM-2035 账号，这些账号利用 AI 生成美国和英国选举相关内容并发布到多个网站。
OpenAI NewsAI 评分4242 OpenAI 用新的多模态审核模型升级 Moderation API
OpenAI 推出基于 GPT-4o 构建的新多模态审核模型，可更准确地检测有害文本和图像，帮助开发者构建更稳健的审核系统。该模型已用于升级 Moderation API。
OpenAI NewsAI 评分1717 OpenAI 更新其安全与安保实践
OpenAI 发布安全与安保实践更新。该更新涉及其在安全与安保方面的做法，具体内容未在原文中展开。
OpenAI NewsAI 评分4242 Zico Kolter 加入 OpenAI 董事会
Zico Kolter 加入 OpenAI 董事会，其在 AI 安全与对齐领域的专业能力将强化公司治理。他同时将加入安全与安保委员会。
OpenAI News精选AI 评分6262 OpenAI 发布 GPT-4o 系统卡
OpenAI 发布 GPT-4o 系统卡，用于说明该模型在安全与对齐方面的评估情况。原文正文未能获取，具体内容暂不可知。
Hugging Face BlogAI 评分2222 Hugging Face 2024 年安全功能盘点：从细粒度 Token 到企业级 SSO
Hugging Face 梳理了截至 2024 年 8 月 6 日 Hub 上的安全功能：面向所有用户的细粒度 Token、2FA、GPG commit 签名、组织访问控制，以及基于 ClamAV、picklescan、trufflehog 的自动化恶意软件、pickle 与密钥扫描。
Hugging Face Blog精选AI 评分6262 Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope
Google 在 Gemma 2 发布一个月后扩充模型家族，新增 2.6B 参数的 Gemma 2 2B（含 base 与指令微调版），适合端侧使用。同时发布 ShieldGemma 安全分类器系列（2B、9B、27B），用于过滤应用输入输出，以及面向 Gemma 2 2B 和 9B 每一层的稀疏自编码器套件 Gemma Scope。
推荐理由：Google 一次补齐 Gemma 2 的小尺寸、安全分类器和可解释性工具，读者可据此判断端侧部署与内容审核的可用组合。
OpenAI NewsAI 评分4242 OpenAI 用基于规则的奖励（RBRs）提升模型安全行为
OpenAI 开发并应用了一种基于规则的奖励（RBRs）新方法，让模型在无需大量人工数据采集的情况下对齐安全行为。
OpenAI NewsAI 评分3838 OpenAI 用证明者-验证者博弈提升语言模型输出的可读性
OpenAI 提出用证明者-验证者博弈（Prover-Verifier Games）提升语言模型输出的可读性，让 AI 给出的解答更清晰、更易被验证，从而对人和机器都更可信。
OpenAI NewsAI 评分4040 OpenAI 与洛斯阿拉莫斯国家实验室宣布研究合作
OpenAI 与洛斯阿拉莫斯国家实验室宣布建立研究合作，共同开发安全评估方法，用于评估和衡量前沿模型相关的生物能力与风险。
Hugging Face BlogAI 评分3636 Hugging Face 在 Dataset Hub 上用 Presidio 实验自动 PII 检测
Hugging Face 正在 Dataset Hub 上实验一项基于开源 PII 检测工具 Presidio 的新功能，可为数据集生成 PII 存在情况报告，帮助用户在训练前做出判断。Presidio 依靠检测模式和机器学习模型识别 PII，在一份预训练数据集示例中检测到少量邮箱和敏感 PII。数据集所有者也可用该报告在发布前验证自身的 PII 过滤流程。
OpenAI News精选AI 评分6262 OpenAI 用 GPT-4 训练 CriticGPT 查找 ChatGPT 回复错误
OpenAI 发布基于 GPT-4 的模型 CriticGPT，用于对 ChatGPT 的回复撰写批评意见，帮助人类训练员在 RLHF 过程中发现错误。
推荐理由：OpenAI 提出用 GPT-4 训练的 CriticGPT 辅助人类标注者发现 ChatGPT 回复中的错误，可用于理解 RLHF 环节的质量控制思路。
OpenAI NewsAI 评分1818 OpenAI 网络安全资助计划：赋能防御者推进 AI 安全研究
OpenAI 公布网络安全资助计划，聚焦网络安全领域的创新研究与 AI 集成。该计划旨在赋能防御者，推动 AI 技术在安全防护中的应用。
OpenAI NewsAI 评分2222 OpenAI 提出面向真实世界内容审核的整体性不良内容检测方法
OpenAI 提出一套构建稳健自然语言分类系统的整体性方法，用于真实场景下的内容审核与不良内容检测。该方法强调从整体视角打造可用于实际部署的审核系统。
OpenAI NewsAI 评分2626 OpenAI 任命退役美国陆军上将 Paul M. Nakasone 为董事会成员
OpenAI 任命退役美国陆军上将 Paul M. Nakasone 加入董事会，他将同时加入董事会的安全与安保委员会。Nakasone 为这一持续扩大的董事会带来网络安全领域的经验。
OpenAI NewsAI 评分4242 OpenAI 详解 Voice Engine 工作原理及安全研究
OpenAI 详解其文本转语音模型 Voice Engine 的技术原理与安全研究。
Hugging Face Blog精选AI 评分6060 Hugging Face 披露 Spaces 密钥遭未授权访问并公布安全更新
Hugging Face 本周检测到 Spaces 平台遭未授权访问，涉及 Spaces secrets，怀疑部分密钥可能被未经授权读取，已撤销相关 HF token 并邮件通知受影响用户。
推荐理由：官方披露 Spaces 密钥遭未授权访问及处置措施，可了解平台安全策略的调整方向。