OpenAI 提出弱到强泛化：用弱监督者控制强模型
OpenAI 提出面向超级对齐的新研究方向“弱到强泛化”，并给出初步结果，探讨能否利用深度学习的泛化特性，用较弱的监督者控制更强的模型。
推荐理由：OpenAI 提出用弱监督者控制强模型的研究方向，并给出初步结果，可供了解超级对齐的一种思路。
#安全/对齐
#安全/对齐
今日 0 条OpenAI News精选AI 评分6262
OpenAI NewsAI 评分4242 OpenAI 构建前沿风险与准备工作体系
OpenAI 正在构建应对灾难性风险的前沿准备工作体系，包括组建 Preparedness 团队并发起一项挑战赛，以支持高能力 AI 系统的安全。
OpenAI NewsAI 评分4040 OpenAI 与 Anthropic、Google、Microsoft 公布 Frontier Model Forum 新执行董事及 1000 万美元 AI 安全基金
OpenAI 联合 Anthropic、Google 和 Microsoft 宣布 Frontier Model Forum 新任执行董事，并设立 1000 万美元 AI 安全基金。该论坛由上述四家公司共同参与，此次更新聚焦于治理层人事与安全资金两项安排。
OpenAI News精选AI 评分6262 OpenAI 发布 DALL·E 3 系统卡
OpenAI 发布 DALL·E 3 系统卡，用于说明该图像生成模型在安全与对齐方面的评估情况。
Hugging Face BlogAI 评分1515 Hugging Face 发布 Ethics and Society Newsletter #5：Hugging Face 走进华盛顿与 2023 夏季思考
Hugging Face 发布 Ethics and Society Newsletter #5，回顾其今夏向 E.U.、U.K.、U.S. 立法者提供 AI 价值观与监管建议，包括 CEO Clem 在美国国会作证及 U.S. Senate AI Insight Forum 发言。
OpenAI NewsAI 评分4242 OpenAI 公开招募红队网络成员
OpenAI 宣布公开招募红队网络（Red Teaming Network）成员，邀请各领域专家加入，共同提升 OpenAI 模型的安全性。
OpenAI NewsAI 评分4040 OpenAI 使用 GPT-4 进行内容审核
OpenAI 将 GPT-4 用于内容政策制定和内容审核决策，可实现更一致的标注、更快的政策优化反馈循环，并减少人工审核员的参与。
Hugging Face BlogAI 评分3535 Zama 用 FHE 加密大语言模型：GPT2 单注意力头密文推理保持 96% 精度
Zama 基于 Hugging Face transformers 库，用全同态加密（FHE）改造 GPT2，让部分推理在加密数据上运行，兼顾用户隐私与模型 IP。实验显示，权重与激活值采用 4-bit 量化时，加密后的单个注意力头仍保持原模型 96% 的精度。实现借助 Concrete-Python 将 Python 函数转为 FHE 等价形式，客户端本地推理至首层后加密中间结果交由服务器计算。
OpenAI NewsAI 评分4040 OpenAI 联合发起前沿模型论坛（Frontier Model Forum）
OpenAI 参与组建新的行业机构 Frontier Model Forum，旨在推动前沿 AI 系统的安全与负责任开发。该论坛将推进 AI 安全研究、确定最佳实践与标准，并促进政策制定者与行业间的信息共享。
OpenAI NewsAI 评分3232 OpenAI 与头部实验室以自愿承诺推进 AI 治理
OpenAI 与其他领先实验室通过自愿承诺，强化 AI 的安全、安保与可信度，以此推进 AI 治理。
Hugging Face BlogAI 评分2222 Hugging Face 通讯第 4 期：文本到图像模型中的偏见
Hugging Face 发布 Ethics and Society Newsletter 第 4 期，聚焦文本到图像模型的偏见问题，指出训练数据、预训练数据过滤、推理、模型潜在空间及事后过滤等环节均可能引入偏见。
OpenAI NewsAI 评分3535 OpenAI 启动网络安全资助计划
OpenAI 启动网络安全资助计划，通过资助及其他支持方式，推动面向防御方的 AI 网络安全能力发展。
OpenAI NewsAI 评分4040 OpenAI 启动民主化 AI 规则制定资助计划
OpenAI 旗下非营利组织 OpenAI, Inc. 启动一项资助计划，将发放十笔各 10 万美元的拨款，用于资助在法律允许范围内建立民主流程、决定 AI 系统应遵循何种规则的实验。
Hugging Face Blog精选AI 评分6262 Safetensors 通过外部安全审计，将成 transformers 默认格式
Hugging Face 联合 EleutherAI 和 Stability AI 委托 Trail of Bits 对 safetensors 库做外部安全审计，未发现可导致任意代码执行的关键安全漏洞，并修复了规范格式不精确和允许 polyglot 文件的校验缺失问题。
推荐理由：外部安全审计确认 safetensors 无任意代码执行漏洞，并给出其成为默认保存格式的推进节奏。
OpenAI NewsAI 评分3232 OpenAI 谈超级智能的治理
OpenAI 发文呼吁现在就开始思考超级智能的治理问题，即未来能力远超 AGI 的 AI 系统。文章将超级智能定义为比 AGI 更强大的未来 AI 系统，并强调当下是着手探讨其治理的合适时机。
OpenAI NewsAI 评分4040 OpenAI 宣布启动漏洞赏金计划
OpenAI 宣布推出漏洞赏金计划，邀请外界帮助发现其技术与服务中的安全漏洞，以打造安全、可靠、可信的 AI。该计划是 OpenAI 践行开发安全且先进 AI 承诺的重要举措。
OpenAI NewsAI 评分2626 OpenAI 的 AI 安全方法
OpenAI 阐述了其确保 AI 系统安全构建、部署和使用的方法，并强调这是其使命的关键。
Hugging Face BlogAI 评分2222 Hugging Face 伦理与社会通讯 #3：Hugging Face 的伦理开放性
Hugging Face 发布《伦理与社会通讯 #3》，阐述其"开放且向善的机器学习"使命，并推出 6 个伦理标签分类：严谨、知情同意、社会意识、可持续、包容与探究。平台同时上线举报功能，允许社区标记违反内容准则的模型、数据集、Space 或讨论，并推广 Open RAIL 许可证用于 BLOOM、BigCode 等 LLM。
Hugging Face BlogAI 评分2222 Hugging Face 发布 Diffusers 库开发伦理准则
Hugging Face 为 Diffusers 库发布伦理框架，用于指导维护者处理社区贡献时的技术决策，并承诺随时间调整准则。该框架提出透明、一致、简洁、可及、可复现、责任六项价值观，同时列出社区标签、Not For All Eyes 标签、偏见探索 Space、Safe Stable Diffusion、Hub 分阶段发布及 OpenRAILs 许可等安全机制。
OpenAI News精选AI 评分6262 OpenAI 发布 AGI 及更远未来的规划
OpenAI 发布文章阐述其对 AGI 及更远未来的规划，称其使命是确保比人类更聪明的通用人工智能造福全人类。
推荐理由：OpenAI 官方阐述 AGI 使命与长期规划，可了解其对通用人工智能安全与治理的立场。
Hugging Face BlogAI 评分3838 Hugging Face 详解大语言模型红队测试：方法、风险与最佳实践
红队测试通过构造自然语言提示词诱导 LLM 生成有害内容，从而暴露模型漏洞，与对抗攻击不同，其提示词对人类可读。GPT3 早期版本曾表现出性别歧视与针对穆斯林的偏见，微软 Tay 和 Bing 的 Sydney 聊天机器人则是缺乏充分红队评估的反面案例。红队可由人工或另一个 LM 执行，针对经 RLHF 或 SFT 对齐的模型需采用角色扮演等创造性攻击方式，未来需建立多方协作的数据集与最佳实践。
OpenAI NewsAI 评分5252 OpenAI 发布识别 AI 生成文本的分类器
OpenAI 发布一款经过训练的分类器，用于区分 AI 生成文本与人类撰写文本。
OpenAI NewsAI 评分4040 OpenAI 与乔治城大学、斯坦福互联网观测站联合研究：语言模型如何被用于虚假信息宣传及风险缓解
OpenAI 联合乔治城大学安全与新兴技术中心及斯坦福互联网观测站，研究大语言模型可能被用于虚假信息宣传的方式，并发布了一份基于一年多研究的联合报告。报告梳理了语言模型若被用于增强虚假信息宣传会对信息环境构成的威胁，并提出了一套分析潜在缓解措施的框架。
Hugging Face BlogAI 评分3232 Hugging Face 谈机器学习中的偏见：伦理与社会通讯第 2 期
Hugging Face 伦理与社会团队发布通讯第 2 期，讨论机器学习中的偏见问题，指出偏见普遍且复杂，单一技术手段难以有效解决。文章梳理了偏见在 ML 开发各环节的体现，并介绍了 Hugging Face 团队开发的用于识别和应对偏见的数据集与模型工具。
Hugging Face BlogAI 评分3434 Hugging Face 在 🤗 Evaluate 中加入语言模型偏见评估指标
Hugging Face 为 🤗 Evaluate 库新增偏见度量与测量功能，用于评估 GPT-2、BLOOM 等因果语言模型的偏见。该流程先用 🤗 Datasets 中的预定义提示词生成文本，再用 🤗 Evaluate 的指标打分，示例覆盖 Toxicity、Polarity 和 Hurtfulness 三类任务。
Hugging Face BlogAI 评分1212 Hugging Face 推出 Ethics and Society 通讯，首期聚焦 AI 伦理落地
Hugging Face 发布首期 Ethics and Society 通讯，计划按季节在春分、秋分、夏至、冬至发布，由公司内部跨团队开放小组“Ethics and Society regulars”共同撰写。该通讯围绕协作、责任与透明三大创始价值观，分享将伦理落地到机器学习开发中的思考与实践。Hugging Face 同期上线模型与 Spaces 仓库“flag”功能，用于上报伦理与法律问题。
Hugging Face BlogAI 评分4040 Hugging Face 支持的 OpenRAIL：面向开放且负责任 AI 的许可框架
Hugging Face 支持的 RAIL Initiative 推出 OpenRAIL 许可框架，允许免版税访问、下游使用与再分发 AI 模型及其衍生品，同时嵌入针对特定关键场景的使用限制条款。该框架借鉴 BigScience、开源与 Creative Commons 的做法，主张开源许可不适配 ML 模型的技术特性，需以基于证据的方式划定开放使用与社会风险之间的边界。
OpenAI NewsAI 评分2626 OpenAI 的对齐研究思路
OpenAI 正在提升 AI 系统从人类反馈中学习、以及辅助人类评估 AI 的能力，目标是构建一个足够对齐的 AI 系统，再由它帮助解决其余所有对齐问题。
OpenAI NewsAI 评分4242 OpenAI 推出新版内容审核工具 Moderation 端点
OpenAI 发布新版内容审核工具 Moderation 端点，改进此前的内容过滤器，即日起免费向 OpenAI API 开发者开放。
OpenAI NewsAI 评分3838 OpenAI 为 DALL·E 2 降低偏见并提升安全性
OpenAI 为 DALL·E 2 部署了一项新技术，使其生成的人物图像能更准确地反映世界人口的多样性，以减少偏见并提升安全性。
OpenAI NewsAI 评分4242 DALL·E 2 预训练缓解措施
为向广泛受众开放 DALL·E 2，OpenAI 在预训练阶段采取缓解措施，以降低强大图像生成模型带来的风险。为此，OpenAI 设置了多种防护栏，防止生成图像违反其内容政策。
OpenAI News精选AI 评分6262 OpenAI 训练批评写作模型，帮助人类发现摘要缺陷
OpenAI 训练了批评写作模型，用于描述摘要中的缺陷。人类评估者在看到模型给出的批评后，发现摘要缺陷的频率明显提高。研究还发现，模型规模越大自我批评能力越强，且规模对批评写作的提升大于对摘要写作的提升，这为用 AI 系统辅助人类监督 AI 系统提供了可能。
推荐理由：OpenAI 用模型写批评来辅助人类发现摘要缺陷，并观察到规模对自我批评能力的提升更明显。
Hugging Face BlogAI 评分2222 Hugging Face 多模态团队发布伦理章程，将伦理原则置于研究生命周期核心
Hugging Face 多模态学习团队发布了一份伦理章程，将伦理原则正式纳入其机器学习研究生命周期的起点。章程列出内容政策，明确禁止生成虚假信息、个人身份信息及在医疗、法律、金融等高风险领域的轻率使用，并提出透明、开放可复现、公平、自我批判和尊重署名五项价值观。该文件反映 2022 年 5 月的思考状态，属进行中的工作，更新将通过 GitHub 追踪。
Hugging Face BlogAI 评分1212 Hugging Face 机器学习专家访谈：Sasha Luccioni 谈 AI 碳足迹与数据伦理
Hugging Face 研究科学家 Sasha Luccioni 在访谈中介绍了她在 Big Science 项目中主持碳足迹工作组的工作，研究范围涵盖 GPU 训练时长、制造成本乃至一封邮件产生的 CO2 排放。她还参与数据工作组，关注数据策展、多语言性与模型训练数据的伦理问题。
OpenAI NewsAI 评分2222 OpenAI 如何度量古德哈特定律
OpenAI 探讨古德哈特定律在 AI 优化中的影响：当一个度量指标变成目标时，它就不再是好的度量。该定律源自经济学，但在 OpenAI 优化难以或高成本度量的目标时同样适用。
Hugging Face BlogAI 评分2222 Hugging Face 机器学习专家访谈：Margaret Mitchell 谈伦理 AI 与数据偏见
Hugging Face 发布机器学习专家访谈，嘉宾 Margaret Mitchell 曾任 Google 伦理 AI 团队创始人与联合负责人，现于 Hugging Face 制定伦理 AI 研究协议。
OpenAI NewsAI 评分3030 OpenAI 分享语言模型安全与滥用问题的经验教训
OpenAI 公开其在语言模型安全与滥用方面的最新思考，旨在帮助其他 AI 开发者应对已部署模型的安全与滥用问题。
OpenAI News精选AI 评分8282 OpenAI 发布 InstructGPT，成为 API 默认语言模型
OpenAI 训练出 InstructGPT 模型，在遵循用户意图方面明显优于 GPT-3，同时更真实、毒性更低，训练过程引入人类反馈。这些模型现已作为 OpenAI API 的默认语言模型部署。
推荐理由：OpenAI 说明 InstructGPT 通过人类反馈训练，在遵循用户意图、真实性和毒性上优于 GPT-3，并已成为 API 默认模型。
OpenAI NewsAI 评分4242 OpenAI 研究：用精选数据集微调可改善语言模型行为
OpenAI 研究发现，通过在小型精选数据集上微调，可以改善语言模型在特定行为价值观方面的表现。
OpenAI NewsAI 评分3131 OpenAI 参与发布 AI 可验证性多利益相关方报告，提出 10 项机制
OpenAI 参与发布了一份由 30 个机构、58 位合著者共同完成的多利益相关方报告，提出 10 项机制以提升 AI 系统相关声明的可验证性。开发者可借助这些工具证明 AI 系统安全、可靠、公平或保护隐私，用户、政策制定者和公民社会也可据此评估 AI 开发过程。