OpenAI 打击隐蔽影响行动中的 AI 欺骗性使用
OpenAI 已封禁与隐蔽影响行动相关的账号，并称这些账号未因使用其服务获得显著受众增长。该行动针对的是 AI 的欺骗性使用，而非正常内容创作。
#安全/对齐
#安全/对齐
今日 5 条OpenAI NewsAI 评分4242
Hugging Face BlogAI 评分5050 Meta 发布 CyberSecEval 2：面向大语言模型网络安全风险与能力的评估框架
Meta 发布 CyberSecEval 2，从代码不安全实践、提示词注入、网络攻击协助请求、代码解释器滥用和自动化攻击能力五个维度评估 LLM 的网络安全风险。相比 2023 年 12 月的首版，LLM 协助网络攻击的平均合规率已从 52% 降至 28%。测试显示提示词注入仍是未解决问题，LLM 目前也难以可靠完成端到端漏洞利用挑战。
OpenAI NewsAI 评分1212 OpenAI 的安全实践
OpenAI 阐述了其安全实践的核心立场：通用人工智能有望惠及生活几乎方方面面，因此必须以负责任的方式开发和部署。
OpenAI NewsAI 评分2525 OpenAI 推出内容溯源新技术并加入 C2PA 指导委员会
OpenAI 推出新技术，帮助研究人员识别由其工具生成的内容，同时加入内容来源与真实性联盟（C2PA）指导委员会以推动行业标准。
OpenAI NewsAI 评分4545 OpenAI 封禁与"Spamouflage"行动关联的中国相关账号
OpenAI 封禁了一批与源自中国的"Spamouflage"影响力行动相关的账号，这些账号利用 AI 研究社交媒体活动、生成帖文，并为一个此前未被报道的网站进行调试。
OpenAI NewsAI 评分4040 OpenAI 封禁伊朗相关影响力账号网络 IUVM
OpenAI 封禁了与伊朗背景行动"IUVM"相关的账号，该网络利用 AI 生成并翻译亲伊朗、反以色列和反美的网站内容。
OpenAI News精选AI 评分6060 OpenAI 封禁与俄罗斯相关账号操作“Bad Grammar”
OpenAI 封禁了一批与一个此前未报告的俄罗斯来源操作相关的账号，该操作被命名为“Bad Grammar”。这些账号利用 AI 在 Telegram 上生成英语和俄语评论，内容涉及乌克兰、摩尔多瓦、波罗的海地区及美国政治。
推荐理由：OpenAI 披露一起此前未报告的俄罗斯相关账号操作，读者可了解平台对 AI 生成政治评论的处置方式。
OpenAI News精选AI 评分6060 OpenAI 封禁与以色列相关影响力行动 Zero Zeno 关联账号
OpenAI 封禁了一批与一项此前未被报道的以色列来源影响力行动关联的账号，该行动被其命名为 Zero Zeno。这些账号使用 AI 生成反哈马斯、反卡塔尔、亲以色列、反印度人民党以及亲以色列总工会的内容。
推荐理由：OpenAI 披露封禁一批与以色列相关影响力行动关联的账号，可了解平台对 AI 滥用账号的处置口径。
OpenAI NewsAI 评分3838 OpenAI 封禁俄罗斯"Doppelganger"行动相关账号
OpenAI 封禁了与俄罗斯背景行动"Doppelganger"相关的账号，该行动利用 AI 生成反乌克兰的社交媒体评论、翻译及网站文案，覆盖多种语言。
OpenAI NewsAI 评分4242 OpenAI 提出指令层级：训练 LLM 优先执行特权指令
OpenAI 提出"指令层级"方法，通过训练让 LLM 优先执行特权指令，以抵御提示词注入、越狱等攻击。当前 LLM 易被对抗者用恶意提示词覆盖原始指令，该方法旨在解决这一问题。
Hugging Face BlogAI 评分3838 Hugging Face 与 Wiz Research 合作提升 AI 安全
Hugging Face 宣布与云安全公司 Wiz 合作提升其平台及 AI/ML 生态的安全性，Wiz 研究团队通过 pickle 在沙箱计算环境中运行任意代码，发现了平台的安全缺陷，目前所有相关漏洞均已修复。Hugging Face 已将 Wiz 用于漏洞管理和云安全态势管理（CSPM），并基于其工具实现对 Spaces 等产品检测问题的自动修复。
Hugging Face BlogAI 评分3838 Hugging Face 与 Lighthouz AI 推出 Chatbot Guardrails Arena，压力测试 LLM 隐私护栏
Lighthouz AI 联合 Hugging Face 推出 Chatbot Guardrails Arena，让用户与两个匿名 LLM 聊天，尝试套取虚构银行 XYZ001 客户的敏感信息并投票选出隐私保护更强的模型。
Hugging Face BlogAI 评分3838 Hugging Face 详解 AI 水印：工具与技术
Hugging Face 发布 AI 水印入门指南，介绍在内容生成时嵌入水印与生成后添加水印两种方式，并盘点 Hub 上的相关工具。文章还涉及 Glaze、Photoguard、Nightshade、Fawkes 等图像防护工具，以及 Truepic 基于 C2PA 标准的内容签名方案，并讨论开放与闭源水印的利弊。
Hugging Face BlogAI 评分3636 Haize Labs 联合 Hugging Face 推出红队抵抗基准排行榜
Haize Labs 在 Hugging Face 团队支持下发布 Red Teaming Resistance Benchmark，系统测试前沿模型在高质量人类越狱攻击下的鲁棒性。
OpenAI News精选AI 评分6262 OpenAI 称已阻断国家关联威胁行为者对 AI 的恶意使用
OpenAI 发布公告，称已阻断国家关联威胁行为者对 AI 的恶意使用。原文正文未能获取，仅标题可用。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布用开源模型实现 Constitutional AI 的完整配方
Hugging Face 发布了一套用开源模型实现 Constitutional AI（CAI）的端到端配方，并开源了 llm-swarm 工具，用于在 GPU Slurm 集群上基于 TGI 和 vLLM 进行可扩展的合成数据生成。
推荐理由：Hugging Face 给出用开源模型复现 Constitutional AI 的完整配方，含数据集、模型与 Slurm 集群推理工具，可迁移到自定义对齐流程。
OpenAI NewsAI 评分5252 OpenAI 构建 LLM 辅助生物威胁的早期预警系统
OpenAI 正在为评估大语言模型可能协助制造生物威胁的风险制定蓝图。在一项包含生物学专家和学生的评估中，OpenAI 发现 GPT-4 对生物威胁制造准确率的提升最多只是轻微的。这一提升幅度尚不足以得出确定结论，但该发现是后续研究和社区讨论的起点。
Hugging Face BlogAI 评分3737 Hugging Face 发布 Hallucinations Leaderboard，开放评测大语言模型幻觉
Hugging Face 推出 Hallucinations Leaderboard，用一系列幻觉相关基准评测大语言模型的幻觉问题，并已发布 arXiv 论文。
Hugging Face BlogAI 评分3636 Hugging Face 推出 AI Secure LLM Safety Leaderboard
Hugging Face 发布 LLM Safety Leaderboard，基于 DecodingTrust 对 LLM 安全性进行评估，该平台曾获 NeurIPS 2023 杰出论文奖。
OpenAI NewsAI 评分2222 OpenAI 民主输入 AI 资助计划：经验总结与实施计划
OpenAI 公布了其"民主输入 AI"资助计划的结果，该计划资助了来自全球的 10 支团队，用于设计集体治理 AI 的想法和工具。OpenAI 总结了这些团队的创新成果与自身经验，并呼吁研究人员和工程师加入后续工作。
OpenAI NewsAI 评分3838 OpenAI 启动 1000 万美元 Superalignment Fast Grants
OpenAI 启动总额 1000 万美元的 Superalignment Fast Grants，资助面向超人类 AI 系统对齐与安全的技术研究。资助方向包括弱到强泛化、可解释性、可扩展监督等。
OpenAI News精选AI 评分6262 OpenAI 提出弱到强泛化：用弱监督者控制强模型
OpenAI 提出面向超级对齐的新研究方向“弱到强泛化”，并给出初步结果，探讨能否利用深度学习的泛化特性，用较弱的监督者控制更强的模型。
推荐理由：OpenAI 提出用弱监督者控制强模型的研究方向，并给出初步结果，可供了解超级对齐的一种思路。
OpenAI NewsAI 评分4242 OpenAI 构建前沿风险与准备工作体系
OpenAI 正在构建应对灾难性风险的前沿准备工作体系，包括组建 Preparedness 团队并发起一项挑战赛，以支持高能力 AI 系统的安全。
OpenAI NewsAI 评分4040 OpenAI 与 Anthropic、Google、Microsoft 公布 Frontier Model Forum 新执行董事及 1000 万美元 AI 安全基金
OpenAI 联合 Anthropic、Google 和 Microsoft 宣布 Frontier Model Forum 新任执行董事，并设立 1000 万美元 AI 安全基金。该论坛由上述四家公司共同参与，此次更新聚焦于治理层人事与安全资金两项安排。
OpenAI News精选AI 评分6262 OpenAI 发布 DALL·E 3 系统卡
OpenAI 发布 DALL·E 3 系统卡，用于说明该图像生成模型在安全与对齐方面的评估情况。
Hugging Face BlogAI 评分1515 Hugging Face 发布 Ethics and Society Newsletter #5：Hugging Face 走进华盛顿与 2023 夏季思考
Hugging Face 发布 Ethics and Society Newsletter #5，回顾其今夏向 E.U.、U.K.、U.S. 立法者提供 AI 价值观与监管建议，包括 CEO Clem 在美国国会作证及 U.S. Senate AI Insight Forum 发言。
OpenAI NewsAI 评分4242 OpenAI 公开招募红队网络成员
OpenAI 宣布公开招募红队网络（Red Teaming Network）成员，邀请各领域专家加入，共同提升 OpenAI 模型的安全性。
OpenAI NewsAI 评分4040 OpenAI 使用 GPT-4 进行内容审核
OpenAI 将 GPT-4 用于内容政策制定和内容审核决策，可实现更一致的标注、更快的政策优化反馈循环，并减少人工审核员的参与。
Hugging Face BlogAI 评分3535 Zama 用 FHE 加密大语言模型：GPT2 单注意力头密文推理保持 96% 精度
Zama 基于 Hugging Face transformers 库，用全同态加密（FHE）改造 GPT2，让部分推理在加密数据上运行，兼顾用户隐私与模型 IP。实验显示，权重与激活值采用 4-bit 量化时，加密后的单个注意力头仍保持原模型 96% 的精度。实现借助 Concrete-Python 将 Python 函数转为 FHE 等价形式，客户端本地推理至首层后加密中间结果交由服务器计算。
OpenAI NewsAI 评分4040 OpenAI 联合发起前沿模型论坛（Frontier Model Forum）
OpenAI 参与组建新的行业机构 Frontier Model Forum，旨在推动前沿 AI 系统的安全与负责任开发。该论坛将推进 AI 安全研究、确定最佳实践与标准，并促进政策制定者与行业间的信息共享。
OpenAI NewsAI 评分3232 OpenAI 与头部实验室以自愿承诺推进 AI 治理
OpenAI 与其他领先实验室通过自愿承诺，强化 AI 的安全、安保与可信度，以此推进 AI 治理。
Hugging Face BlogAI 评分2222 Hugging Face 通讯第 4 期：文本到图像模型中的偏见
Hugging Face 发布 Ethics and Society Newsletter 第 4 期，聚焦文本到图像模型的偏见问题，指出训练数据、预训练数据过滤、推理、模型潜在空间及事后过滤等环节均可能引入偏见。
OpenAI NewsAI 评分3535 OpenAI 启动网络安全资助计划
OpenAI 启动网络安全资助计划，通过资助及其他支持方式，推动面向防御方的 AI 网络安全能力发展。
OpenAI NewsAI 评分4040 OpenAI 启动民主化 AI 规则制定资助计划
OpenAI 旗下非营利组织 OpenAI, Inc. 启动一项资助计划，将发放十笔各 10 万美元的拨款，用于资助在法律允许范围内建立民主流程、决定 AI 系统应遵循何种规则的实验。
Hugging Face Blog精选AI 评分6262 Safetensors 通过外部安全审计，将成 transformers 默认格式
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库做外部安全审计，未发现可导致任意代码执行的关键安全漏洞，并修复了规范格式不精确和允许 polyglot 文件的校验缺失问题。
推荐理由：外部安全审计确认 safetensors 无任意代码执行漏洞，并给出其成为默认保存格式的推进节奏。
OpenAI NewsAI 评分3232 OpenAI 谈超级智能的治理
OpenAI 发文呼吁现在就开始思考超级智能的治理问题，即未来能力远超 AGI 的 AI 系统。文章将超级智能定义为比 AGI 更强大的未来 AI 系统，并强调当下是着手探讨其治理的合适时机。
OpenAI NewsAI 评分4040 OpenAI 宣布启动漏洞赏金计划
OpenAI 宣布推出漏洞赏金计划，邀请外界帮助发现其技术与服务中的安全漏洞，以打造安全、可靠、可信的 AI。该计划是 OpenAI 践行开发安全且先进 AI 承诺的重要举措。
OpenAI NewsAI 评分2626 OpenAI 的 AI 安全方法
OpenAI 阐述了其确保 AI 系统安全构建、部署和使用的方法，并强调这是其使命的关键。
Hugging Face BlogAI 评分2222 Hugging Face 伦理与社会通讯 #3：Hugging Face 的伦理开放性
Hugging Face 发布《伦理与社会通讯 #3》，阐述其"开放且向善的机器学习"使命，并推出 6 个伦理标签分类：严谨、知情同意、社会意识、可持续、包容与探究。平台同时上线举报功能，允许社区标记违反内容准则的模型、数据集、Space 或讨论，并推广 Open RAIL 许可证用于 BLOOM、BigCode 等 LLM。
Hugging Face BlogAI 评分2222 Hugging Face 发布 Diffusers 库开发伦理准则
Hugging Face 为 Diffusers 库发布伦理框架，用于指导维护者处理社区贡献时的技术决策，并承诺随时间调整准则。该框架提出透明、一致、简洁、可及、可复现、责任六项价值观，同时列出社区标签、Not For All Eyes 标签、偏见探索 Space、Safe Stable Diffusion、Hub 分阶段发布及 OpenRAILs 许可等安全机制。