OpenAI 封禁利用 AI 生成多语言影响力内容的“A2Z”账号网络
OpenAI 封禁了名为“A2Z”的账号网络，这些账号利用 AI 生成涉及选举、乌克兰和政治的多语言影响力内容，并发布到多个平台。
#安全/对齐
#安全/对齐
今日 0 条OpenAI NewsAI 评分3838 OpenAI NewsAI 评分4242 OpenAI 封禁利用 AI 生成批评俄罗斯反腐基金会评论的账号
OpenAI 封禁了一批利用 AI 生成针对俄罗斯反腐基金会及相关人物批评评论的账号。
OpenAI NewsAI 评分5555 OpenAI 封禁伊朗来源 STORM-2035 账号，其用 AI 生成美英选举内容
OpenAI 封禁了伊朗来源的 STORM-2035 账号，这些账号利用 AI 生成美国和英国选举相关内容并发布到多个网站。
OpenAI NewsAI 评分4242 OpenAI 用新的多模态审核模型升级 Moderation API
OpenAI 推出基于 GPT-4o 构建的新多模态审核模型，可更准确地检测有害文本和图像，帮助开发者构建更稳健的审核系统。该模型已用于升级 Moderation API。
OpenAI NewsAI 评分1717 OpenAI 更新其安全与安保实践
OpenAI 发布安全与安保实践更新。该更新涉及其在安全与安保方面的做法，具体内容未在原文中展开。
OpenAI NewsAI 评分4242 Zico Kolter 加入 OpenAI 董事会
Zico Kolter 加入 OpenAI 董事会，其在 AI 安全与对齐领域的专业能力将强化公司治理。他同时将加入安全与安保委员会。
OpenAI News精选AI 评分6262 OpenAI 发布 GPT-4o 系统卡
OpenAI 发布 GPT-4o 系统卡，用于说明该模型在安全与对齐方面的评估情况。原文正文未能获取，具体内容暂不可知。
Hugging Face BlogAI 评分2222 Hugging Face 2024 年安全功能盘点：从细粒度 Token 到企业级 SSO
Hugging Face 梳理了截至 2024 年 8 月 6 日 Hub 上的安全功能：面向所有用户的细粒度 Token、2FA、GPG commit 签名、组织访问控制，以及基于 ClamAV、picklescan、trufflehog 的自动化恶意软件、pickle 与密钥扫描。
Hugging Face Blog精选AI 评分6262 Google 发布 Gemma 2 2B、ShieldGemma 与 Gemma Scope
Google 在 Gemma 2 发布一个月后扩充模型家族，新增 2.6B 参数的 Gemma 2 2B（含 base 与指令微调版），适合端侧使用。同时发布 ShieldGemma 安全分类器系列（2B、9B、27B），用于过滤应用输入输出，以及面向 Gemma 2 2B 和 9B 每一层的稀疏自编码器套件 Gemma Scope。
推荐理由：Google 一次补齐 Gemma 2 的小尺寸、安全分类器和可解释性工具，读者可据此判断端侧部署与内容审核的可用组合。
OpenAI NewsAI 评分4242 OpenAI 用基于规则的奖励（RBRs）提升模型安全行为
OpenAI 开发并应用了一种基于规则的奖励（RBRs）新方法，让模型在无需大量人工数据采集的情况下对齐安全行为。
OpenAI NewsAI 评分3838 OpenAI 用证明者-验证者博弈提升语言模型输出的可读性
OpenAI 提出用证明者-验证者博弈（Prover-Verifier Games）提升语言模型输出的可读性，让 AI 给出的解答更清晰、更易被验证，从而对人和机器都更可信。
OpenAI NewsAI 评分4040 OpenAI 与洛斯阿拉莫斯国家实验室宣布研究合作
OpenAI 与洛斯阿拉莫斯国家实验室宣布建立研究合作，共同开发安全评估方法，用于评估和衡量前沿模型相关的生物能力与风险。
Hugging Face BlogAI 评分3636 Hugging Face 在 Dataset Hub 上用 Presidio 实验自动 PII 检测
Hugging Face 正在 Dataset Hub 上实验一项基于开源 PII 检测工具 Presidio 的新功能，可为数据集生成 PII 存在情况报告，帮助用户在训练前做出判断。Presidio 依靠检测模式和机器学习模型识别 PII，在一份预训练数据集示例中检测到少量邮箱和敏感 PII。数据集所有者也可用该报告在发布前验证自身的 PII 过滤流程。
OpenAI News精选AI 评分6262 OpenAI 用 GPT-4 训练 CriticGPT 查找 ChatGPT 回复错误
OpenAI 发布基于 GPT-4 的模型 CriticGPT，用于对 ChatGPT 的回复撰写批评意见，帮助人类训练员在 RLHF 过程中发现错误。
推荐理由：OpenAI 提出用 GPT-4 训练的 CriticGPT 辅助人类标注者发现 ChatGPT 回复中的错误，可用于理解 RLHF 环节的质量控制思路。
OpenAI NewsAI 评分1818 OpenAI 网络安全资助计划：赋能防御者推进 AI 安全研究
OpenAI 公布网络安全资助计划，聚焦网络安全领域的创新研究与 AI 集成。该计划旨在赋能防御者，推动 AI 技术在安全防护中的应用。
OpenAI NewsAI 评分2222 OpenAI 提出面向真实世界内容审核的整体性不良内容检测方法
OpenAI 提出一套构建稳健自然语言分类系统的整体性方法，用于真实场景下的内容审核与不良内容检测。该方法强调从整体视角打造可用于实际部署的审核系统。
OpenAI NewsAI 评分2626 OpenAI 任命退役美国陆军上将 Paul M. Nakasone 为董事会成员
OpenAI 任命退役美国陆军上将 Paul M. Nakasone 加入董事会，他将同时加入董事会的安全与安保委员会。Nakasone 为这一持续扩大的董事会带来网络安全领域的经验。
OpenAI NewsAI 评分4242 OpenAI 详解 Voice Engine 工作原理及安全研究
OpenAI 详解其文本转语音模型 Voice Engine 的技术原理与安全研究。
Hugging Face Blog精选AI 评分6060 Hugging Face 披露 Spaces 密钥遭未授权访问并公布安全更新
Hugging Face 本周检测到 Spaces 平台遭未授权访问，涉及 Spaces secrets，怀疑部分密钥可能被未经授权读取，已撤销相关 HF token 并邮件通知受影响用户。
推荐理由：官方披露 Spaces 密钥遭未授权访问及处置措施，可了解平台安全策略的调整方向。
OpenAI NewsAI 评分4242 OpenAI 打击隐蔽影响行动中的 AI 欺骗性使用
OpenAI 已封禁与隐蔽影响行动相关的账号，并称这些账号未因使用其服务获得显著受众增长。该行动针对的是 AI 的欺骗性使用，而非正常内容创作。
Hugging Face BlogAI 评分5050 Meta 发布 CyberSecEval 2：面向大语言模型网络安全风险与能力的评估框架
Meta 发布 CyberSecEval 2，从代码不安全实践、提示词注入、网络攻击协助请求、代码解释器滥用和自动化攻击能力五个维度评估 LLM 的网络安全风险。相比 2023 年 12 月的首版，LLM 协助网络攻击的平均合规率已从 52% 降至 28%。测试显示提示词注入仍是未解决问题，LLM 目前也难以可靠完成端到端漏洞利用挑战。
OpenAI NewsAI 评分1212 OpenAI 的安全实践
OpenAI 阐述了其安全实践的核心立场：通用人工智能有望惠及生活几乎方方面面，因此必须以负责任的方式开发和部署。
OpenAI NewsAI 评分2525 OpenAI 推出内容溯源新技术并加入 C2PA 指导委员会
OpenAI 推出新技术，帮助研究人员识别由其工具生成的内容，同时加入内容来源与真实性联盟（C2PA）指导委员会以推动行业标准。
OpenAI NewsAI 评分4545 OpenAI 封禁与"Spamouflage"行动关联的中国相关账号
OpenAI 封禁了一批与源自中国的"Spamouflage"影响力行动相关的账号，这些账号利用 AI 研究社交媒体活动、生成帖文，并为一个此前未被报道的网站进行调试。
OpenAI NewsAI 评分4040 OpenAI 封禁伊朗相关影响力账号网络 IUVM
OpenAI 封禁了与伊朗背景行动"IUVM"相关的账号，该网络利用 AI 生成并翻译亲伊朗、反以色列和反美的网站内容。
OpenAI News精选AI 评分6060 OpenAI 封禁与俄罗斯相关账号操作“Bad Grammar”
OpenAI 封禁了一批与一个此前未报告的俄罗斯来源操作相关的账号，该操作被命名为“Bad Grammar”。这些账号利用 AI 在 Telegram 上生成英语和俄语评论，内容涉及乌克兰、摩尔多瓦、波罗的海地区及美国政治。
推荐理由：OpenAI 披露一起此前未报告的俄罗斯相关账号操作，读者可了解平台对 AI 生成政治评论的处置方式。
OpenAI News精选AI 评分6060 OpenAI 封禁与以色列相关影响力行动 Zero Zeno 关联账号
OpenAI 封禁了一批与一项此前未被报道的以色列来源影响力行动关联的账号，该行动被其命名为 Zero Zeno。这些账号使用 AI 生成反哈马斯、反卡塔尔、亲以色列、反印度人民党以及亲以色列总工会的内容。
推荐理由：OpenAI 披露封禁一批与以色列相关影响力行动关联的账号，可了解平台对 AI 滥用账号的处置口径。
OpenAI NewsAI 评分3838 OpenAI 封禁俄罗斯"Doppelganger"行动相关账号
OpenAI 封禁了与俄罗斯背景行动"Doppelganger"相关的账号，该行动利用 AI 生成反乌克兰的社交媒体评论、翻译及网站文案，覆盖多种语言。
OpenAI NewsAI 评分4242 OpenAI 提出指令层级：训练 LLM 优先执行特权指令
OpenAI 提出"指令层级"方法，通过训练让 LLM 优先执行特权指令，以抵御提示词注入、越狱等攻击。当前 LLM 易被对抗者用恶意提示词覆盖原始指令，该方法旨在解决这一问题。
Hugging Face BlogAI 评分3838 Hugging Face 与 Wiz Research 合作提升 AI 安全
Hugging Face 宣布与云安全公司 Wiz 合作提升其平台及 AI/ML 生态的安全性，Wiz 研究团队通过 pickle 在沙箱计算环境中运行任意代码，发现了平台的安全缺陷，目前所有相关漏洞均已修复。Hugging Face 已将 Wiz 用于漏洞管理和云安全态势管理（CSPM），并基于其工具实现对 Spaces 等产品检测问题的自动修复。
Hugging Face BlogAI 评分3838 Hugging Face 与 Lighthouz AI 推出 Chatbot Guardrails Arena，压力测试 LLM 隐私护栏
Lighthouz AI 联合 Hugging Face 推出 Chatbot Guardrails Arena，让用户与两个匿名 LLM 聊天，尝试套取虚构银行 XYZ001 客户的敏感信息并投票选出隐私保护更强的模型。
Hugging Face BlogAI 评分3838 Hugging Face 详解 AI 水印：工具与技术
Hugging Face 发布 AI 水印入门指南，介绍在内容生成时嵌入水印与生成后添加水印两种方式，并盘点 Hub 上的相关工具。文章还涉及 Glaze、Photoguard、Nightshade、Fawkes 等图像防护工具，以及 Truepic 基于 C2PA 标准的内容签名方案，并讨论开放与闭源水印的利弊。
Hugging Face BlogAI 评分3636 Haize Labs 联合 Hugging Face 推出红队抵抗基准排行榜
Haize Labs 在 Hugging Face 团队支持下发布 Red Teaming Resistance Benchmark，系统测试前沿模型在高质量人类越狱攻击下的鲁棒性。
OpenAI News精选AI 评分6262 OpenAI 称已阻断国家关联威胁行为者对 AI 的恶意使用
OpenAI 发布公告，称已阻断国家关联威胁行为者对 AI 的恶意使用。原文正文未能获取，仅标题可用。
Hugging Face Blog精选AI 评分6262 Hugging Face 发布用开源模型实现 Constitutional AI 的完整配方
Hugging Face 发布了一套用开源模型实现 Constitutional AI（CAI）的端到端配方，并开源了 llm-swarm 工具，用于在 GPU Slurm 集群上基于 TGI 和 vLLM 进行可扩展的合成数据生成。
推荐理由：Hugging Face 给出用开源模型复现 Constitutional AI 的完整配方，含数据集、模型与 Slurm 集群推理工具，可迁移到自定义对齐流程。
OpenAI NewsAI 评分5252 OpenAI 构建 LLM 辅助生物威胁的早期预警系统
OpenAI 正在为评估大语言模型可能协助制造生物威胁的风险制定蓝图。在一项包含生物学专家和学生的评估中，OpenAI 发现 GPT-4 对生物威胁制造准确率的提升最多只是轻微的。这一提升幅度尚不足以得出确定结论，但该发现是后续研究和社区讨论的起点。
Hugging Face BlogAI 评分3737 Hugging Face 发布 Hallucinations Leaderboard，开放评测大语言模型幻觉
Hugging Face 推出 Hallucinations Leaderboard，用一系列幻觉相关基准评测大语言模型的幻觉问题，并已发布 arXiv 论文。
Hugging Face BlogAI 评分3636 Hugging Face 推出 AI Secure LLM Safety Leaderboard
Hugging Face 发布 LLM Safety Leaderboard，基于 DecodingTrust 对 LLM 安全性进行评估，该平台曾获 NeurIPS 2023 杰出论文奖。
OpenAI NewsAI 评分2222 OpenAI 民主输入 AI 资助计划：经验总结与实施计划
OpenAI 公布了其"民主输入 AI"资助计划的结果，该计划资助了来自全球的 10 支团队，用于设计集体治理 AI 的想法和工具。OpenAI 总结了这些团队的创新成果与自身经验，并呼吁研究人员和工程师加入后续工作。
OpenAI NewsAI 评分3838 OpenAI 启动 1000 万美元 Superalignment Fast Grants
OpenAI 启动总额 1000 万美元的 Superalignment Fast Grants，资助面向超人类 AI 系统对齐与安全的技术研究。资助方向包括弱到强泛化、可解释性、可扩展监督等。