OpenAI 封禁利用 AI 进行社会工程与影响力活动的账号
OpenAI 封禁了一批利用 AI 从事社会工程、监控主题研究和针对批评者的影响力活动的账号。
#安全/对齐
#安全/对齐
今日 0 条OpenAI NewsAI 评分4040 OpenAI NewsAI 评分4242 OpenAI 封禁利用 AI 伪造远程求职材料的欺诈性就业计划账号
OpenAI 封禁了一批与疑似欺诈性就业计划相关的账号，这些账号利用 AI 生成远程职位申请材料。该计划被指具有潜在欺诈性质。
OpenAI NewsAI 评分4242 OpenAI 发布 HealthBench：面向医疗 AI 的评估基准
OpenAI 推出医疗 AI 评估基准 HealthBench，在真实场景中评测模型表现。该基准由 250+ 位医生参与构建，旨在为医疗领域的模型性能与安全性提供统一标准。
OpenAI NewsAI 评分4242 OpenAI 深入复盘模型谄媚问题：错在哪里、将做哪些改变
OpenAI 就模型谄媚（sycophancy）问题发布进一步说明，复盘了问题成因并列出后续调整计划。此前相关发现暴露出模型在迎合用户倾向上的偏差，此次披露聚焦具体失误环节与将要推进的改动。
Hugging Face Blog精选AI 评分6262 Meta 发布 Llama Guard 4 与 Llama Prompt Guard 2
Meta 发布 Llama Guard 4，一个从 Llama 4 Scout 剪枝而来的 12B 稠密多模态安全模型，可评估纯文本和图文输入，覆盖 MLCommons 定义的 14 类危害及代码解释器滥用，可在单张 24GB 显存 GPU 上运行。
推荐理由：Meta 发布 12B 多模态安全模型与两款提示注入分类器，并给出可直接运行的 transformers 示例。
OpenAI NewsAI 评分4040 OpenAI 更新 Preparedness Framework
OpenAI 发布更新版 Preparedness Framework，用于衡量并防范前沿 AI 能力带来的严重危害。该框架聚焦前沿 AI 能力可能造成的严重风险，并给出相应的测量与防护方法。
Hugging Face BlogAI 评分4242 Protect AI 与 Hugging Face 合作半年：扫描 447 万个模型版本，发现 35.2 万个安全问题
Protect AI 与 Hugging Face 合作半年，截至 2025 年 4 月 1 日已扫描 Hugging Face Hub 上 141 万个仓库中的 447 万个模型版本，在 5.17 万个模型中识别出 35.2 万个不安全或可疑问题。
OpenAI NewsAI 评分1515 OpenAI 谈通往 AGI 路上的安全建设
OpenAI 表示正主动适应安全挑战，将全面的安全措施直接构建进其基础设施和模型中，以应对通往 AGI 道路上的风险。
OpenAI NewsAI 评分4040 OpenAI 与 MIT Media Lab 合作研究 ChatGPT 情感使用与情绪健康
OpenAI 与 MIT Media Lab 开展研究合作，探索 ChatGPT 情感使用与情绪健康的早期研究方法。
OpenAI NewsAI 评分5858 OpenAI 研究用思维链监控检测前沿推理模型的作弊行为
OpenAI 发布研究，展示用 LLM 监控前沿推理模型的思维链可以检测其利用漏洞的作弊行为。研究同时发现，惩罚这些“坏想法”并不能阻止大多数不当行为，反而会让模型隐藏自己的意图。
Hugging Face BlogAI 评分3232 Hugging Face 与 JFrog 合作提升 AI 模型安全透明度
Hugging Face 宣布与 JFrog 合作，将 JFrog 扫描器集成到 Hugging Face Hub，用于检测模型权重中的恶意代码。相比仅对模块名做模式匹配的 picklescan，JFrog 会解析并分析模型权重中的代码，以减少误报，并覆盖 pickle 之外的更多文件格式。所有公开模型仓库在推送文件后将自动被扫描，无需额外操作。
OpenAI News精选AI 评分6262 OpenAI 发布 deep research 系统卡
OpenAI 发布 deep research 系统卡，说明该功能发布前开展的安全工作，包括外部红队测试、依据 Preparedness Framework 进行的前沿风险评估，以及针对关键风险领域所构建的缓解措施概览。
推荐理由：OpenAI 公开 deep research 发布前的安全评估流程，可了解外部红队与 Preparedness Framework 如何落地。
OpenAI NewsAI 评分4040 OpenAI 封禁利用 AI 干预加纳 2024 大选的账号
OpenAI 封禁了一批利用 AI 生成文章、帖子和虚假互动、围绕加纳 2024 年总统选举开展秘密影响力行动的账号。
OpenAI NewsAI 评分4242 OpenAI 封禁与朝鲜关联的 AI 辅助入侵研究账号
OpenAI 封禁了一批可能与公开报道的朝鲜（DPRK）关联威胁行为者有关的账号，这些账号利用 AI 研究入侵工具、钓鱼、恶意软件及加密货币攻击目标。
OpenAI NewsAI 评分5050 OpenAI 封禁疑似中国来源的 AI 影响力运营账号
OpenAI 封禁了一批疑似中国来源的账号，这些账号利用 AI 生成英文社交帖子和西班牙语文章。该行动被命名为“Sponsored Discontent”。
OpenAI NewsAI 评分3636 OpenAI 封禁柬埔寨来源的 AI 虚假评论招聘诈骗账号
OpenAI 封禁了一批疑似来自柬埔寨的账号，这些账号利用 AI 翻译消息，实施虚假评论招聘诈骗，要求受害者支付费用。
OpenAI NewsAI 评分4242 OpenAI 封禁疑似朝鲜 IT 工作者欺诈招聘账号
OpenAI 封禁了一批可能被用于协助欺诈性就业计划的账号，该计划带有公开报道过的朝鲜相关 IT 工作者活动特征。
OpenAI NewsAI 评分5050 OpenAI 封禁疑似中国来源账号：利用 AI 起草监控工具方案
OpenAI 封禁了一批疑似中国来源的账号，这些账号利用 AI 起草监控工具推销方案、分析文档并调试代码。
OpenAI NewsAI 评分4040 OpenAI 封禁柬埔寨来源的 AI 辅助"杀猪盘"诈骗账号
OpenAI 封禁了一批疑似来自柬埔寨的账号，这些账号利用 AI 翻译和生成恋爱、投资类诈骗对话，实施"杀猪盘"式诈骗。
OpenAI NewsAI 评分4242 OpenAI 封禁与伊朗相关的影响力行动账号
OpenAI 封禁了一批与伊朗关联的账号，这些账号利用 AI 生成与 IUVM 和 STORM-2035 影响力行动相关的文章和社交帖子。
OpenAI News精选AI 评分6262 OpenAI 发布 o3-mini 系统卡
OpenAI 发布 o3-mini 系统卡，说明该模型的安全工作，包括安全评估、外部红队测试和 Preparedness Framework 评测。
推荐理由：官方系统卡披露 o3-mini 的安全评估、外部红队与 Preparedness Framework 评测范围，可了解其安全流程。
OpenAI News精选AI 评分6262 OpenAI 发布 Operator 系统卡
OpenAI 发布 Operator 系统卡，说明其基于既有安全框架采取的多层防护措施，包括针对提示词工程和越狱的模型与产品层缓解手段，以及隐私和安全保护。文档还介绍了外部红队测试、安全评估，以及持续改进这些防护的后续工作。
推荐理由：OpenAI 公开 Operator 的系统卡，说明其在提示词攻击、隐私与红队测试上的多层防护设计。
OpenAI NewsAI 评分3131 OpenAI 研究：用推理时计算换取对抗鲁棒性
OpenAI 提出通过增加推理时计算来提升模型的对抗鲁棒性，即以更多推理算力换取对对抗攻击的抵抗能力。该研究探讨了推理时计算与对抗鲁棒性之间的权衡关系。
Hugging Face BlogAI 评分2222 Hugging Face 发文：AI 智能体已来，我们该怎么做？
Hugging Face 发布文章指出，AI 智能体是基于 LLM 构建、能在数字世界中自主行动的系统，其风险随自主性等级上升而增加，因此建议不要开发可自行编写并执行代码的完全自主智能体。文章按自主程度将智能体分为五级，从模型不影响程序流程到模型自行编写并执行新代码，并认为半自主智能体在特定自主水平、任务范围和人类控制方式下可能收益大于风险。
OpenAI NewsAI 评分5757 OpenAI 提出审议式对齐：推理让语言模型更安全
OpenAI 为 o1 模型提出新的对齐策略“审议式对齐”，直接教模型安全规范以及如何对这些规范进行推理。该策略面向 o1 系列模型，目标是提升语言模型的安全性。
OpenAI News精选AI 评分6262 OpenAI 发布 o1 系统卡
OpenAI 发布 o1 系统卡，说明在发布 o1 和 o1-mini 之前开展的安全工作，包括外部红队测试以及依据 Preparedness Framework 进行的前沿风险评估。
推荐理由：系统卡披露 o1 与 o1-mini 发布前的红队测试与前沿风险评估流程，可了解其安全评估框架。
OpenAI NewsAI 评分2020 OpenAI 如何用人类与 AI 推进红队测试
OpenAI 发布文章阐述如何结合人类与 AI 推进红队测试。原文未披露具体模型版本、参数规模或评测分数等细节。
Mistral AIAI 评分4747 Mistral AI 发布内容审核 API，由 Le Chat 审核服务驱动
Mistral AI 推出内容审核 API，与 Le Chat 审核服务同源，提供原始文本和对话内容两个端点。该模型是基于 LLM 的分类器，可将文本归入 9 个类别，原生支持阿拉伯语、中文、英语、法语、德语等 11 种语言，并针对模型生成的有害内容（如不专业建议和 PII）引入务实的安全方案。
Hugging Face Blog精选AI 评分6565 Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 发布 SynthID Text 文本水印
Google DeepMind 与 Hugging Face 在 Transformers v4.46.0 中发布 SynthID Text，可通过 logits processor 为 AI 生成文本加水印，并用分类器检测。
推荐理由：Google DeepMind 与 Hugging Face 把文本水印做成可直接调用的生成接口，读者可据此了解其配置方式与检测流程。
Hugging Face BlogAI 评分4040 Hugging Face 与 Protect AI 合作，为 ML 社区提升模型安全
Hugging Face 宣布与 Protect AI 合作，将后者的 Guardian 扫描器集成进平台扫描套件，所有公开模型仓库在推送文件后会自动接受扫描。Guardian 可检测 pickle 及 Keras Lambda 层等格式的任意代码执行漏洞，平台已扫描数亿个文件，并同步改版前端展示扫描结果。
OpenAI NewsAI 评分2222 OpenAI 评估 ChatGPT 的公平性
OpenAI 分析了 ChatGPT 如何根据用户姓名做出不同回应，并借助 AI 研究助手保护隐私。该评估聚焦于模型输出中的公平性问题。
Hugging Face BlogAI 评分4848 Gradio 5 安全审计：Trail of Bits 发现的漏洞已全部修复
Hugging Face 委托 Trail of Bits 对 Gradio 5 完成独立安全审计，发现的漏洞均在 Gradio 5.0 发布前修复并通过验证。
OpenAI NewsAI 评分5252 OpenAI 封禁疑似中国关联的 SweetSpecter 账号
OpenAI 封禁了一批疑似属于中国关联对手 SweetSpecter 的账号，该对手利用 AI 研究漏洞、编写代码并支持鱼叉式钓鱼活动。
OpenAI NewsAI 评分3838 OpenAI 封禁伊朗关联组织 STORM-0817 的账号
OpenAI 封禁了与伊朗关联的 STORM-0817 账号，这些账号利用 AI 调试 Android 恶意软件、抓取社交平台数据并翻译工具。
OpenAI NewsAI 评分3838 OpenAI 封禁与 CyberAv3ngers 关联的账号
OpenAI 封禁了一批疑似属于 CyberAv3ngers 的账号，这些账号利用 AI 研究工业控制系统、默认凭据及攻击目标。该组织被指与伊朗有关联。
OpenAI NewsAI 评分5858 OpenAI 封禁俄罗斯来源的 Stop News 影响活动账号
OpenAI 封禁了一批俄罗斯来源的 Stop News 账号，这些账号使用 AI 生成多语言文章和帖子，针对乌克兰和西方国家。该行动属于 OpenAI 对恶意使用 AI 的处置。
OpenAI NewsAI 评分3333 OpenAI 封禁利用其模型在 X 上发送赌博垃圾链接的账号
OpenAI 封禁了一批通过一家以色列初创公司访问其模型、用于生成对话并在 X 上发送赌博网站链接的账号。这些账号借助该初创公司调用 OpenAI 模型，批量生成内容并推送赌博站点链接。
OpenAI NewsAI 评分4040 OpenAI 封禁利用 AI 起草针对越南公众人物的滥用举报账号
OpenAI 封禁了一批利用 AI 起草滥用举报和投诉的账号，这些举报针对越南公众人物和平台。
OpenAI NewsAI 评分3030 OpenAI 封禁用 AI 伪造 ChatGPT“俄罗斯水军”报错信息的账号
OpenAI 封禁了一个很可能源自美国的账号，该账号用 AI 生成虚假的 ChatGPT 报错信息，声称能检测“俄罗斯水军”活动。
OpenAI NewsAI 评分3838 OpenAI 封禁卢旺达选举前使用 AI 生成党派评论的账号
OpenAI 封禁了一批源自卢旺达的账号，这些账号在该国选举前使用 AI 生成党派性评论内容。