OpenAI 发布 AGI 及更远未来的规划
OpenAI 发布文章阐述其对 AGI 及更远未来的规划，称其使命是确保比人类更聪明的通用人工智能造福全人类。
推荐理由：OpenAI 官方阐述 AGI 使命与长期规划，可了解其对通用人工智能安全与治理的立场。
#安全/对齐
#安全/对齐
今日 5 条OpenAI News精选AI 评分6262 Hugging Face BlogAI 评分3838 Hugging Face 详解大语言模型红队测试：方法、风险与最佳实践
红队测试通过构造自然语言提示词诱导 LLM 生成有害内容，从而暴露模型漏洞，与对抗攻击不同，其提示词对人类可读。GPT3 早期版本曾表现出性别歧视与针对穆斯林的偏见，微软 Tay 和 Bing 的 Sydney 聊天机器人则是缺乏充分红队评估的反面案例。红队可由人工或另一个 LM 执行，针对经 RLHF 或 SFT 对齐的模型需采用角色扮演等创造性攻击方式，未来需建立多方协作的数据集与最佳实践。
OpenAI NewsAI 评分5252 OpenAI 发布识别 AI 生成文本的分类器
OpenAI 发布一款经过训练的分类器，用于区分 AI 生成文本与人类撰写文本。
OpenAI NewsAI 评分4040 OpenAI 与乔治城大学、斯坦福互联网观测站联合研究：语言模型如何被用于虚假信息宣传及风险缓解
OpenAI 联合乔治城大学安全与新兴技术中心及斯坦福互联网观测站，研究大语言模型可能被用于虚假信息宣传的方式，并发布了一份基于一年多研究的联合报告。报告梳理了语言模型若被用于增强虚假信息宣传会对信息环境构成的威胁，并提出了一套分析潜在缓解措施的框架。
Hugging Face BlogAI 评分3232 Hugging Face 谈机器学习中的偏见：伦理与社会通讯第 2 期
Hugging Face 伦理与社会团队发布通讯第 2 期，讨论机器学习中的偏见问题，指出偏见普遍且复杂，单一技术手段难以有效解决。文章梳理了偏见在 ML 开发各环节的体现，并介绍了 Hugging Face 团队开发的用于识别和应对偏见的数据集与模型工具。
Hugging Face BlogAI 评分3434 Hugging Face 在 🤗 Evaluate 中加入语言模型偏见评估指标
Hugging Face 为 🤗 Evaluate 库新增偏见度量与测量功能，用于评估 GPT-2、BLOOM 等因果语言模型的偏见。该流程先用 🤗 Datasets 中的预定义提示词生成文本，再用 🤗 Evaluate 的指标打分，示例覆盖 Toxicity、Polarity 和 Hurtfulness 三类任务。
Hugging Face BlogAI 评分1212 Hugging Face 推出 Ethics and Society 通讯，首期聚焦 AI 伦理落地
Hugging Face 发布首期 Ethics and Society 通讯，计划按季节在春分、秋分、夏至、冬至发布，由公司内部跨团队开放小组“Ethics and Society regulars”共同撰写。该通讯围绕协作、责任与透明三大创始价值观，分享将伦理落地到机器学习开发中的思考与实践。Hugging Face 同期上线模型与 Spaces 仓库“flag”功能，用于上报伦理与法律问题。
Hugging Face BlogAI 评分4040 Hugging Face 支持的 OpenRAIL：面向开放且负责任 AI 的许可框架
Hugging Face 支持的 RAIL Initiative 推出 OpenRAIL 许可框架，允许免版税访问、下游使用与再分发 AI 模型及其衍生品，同时嵌入针对特定关键场景的使用限制条款。该框架借鉴 BigScience、开源与 Creative Commons 的做法，主张开源许可不适配 ML 模型的技术特性，需以基于证据的方式划定开放使用与社会风险之间的边界。
OpenAI NewsAI 评分2626 OpenAI 的对齐研究思路
OpenAI 正在提升 AI 系统从人类反馈中学习、以及辅助人类评估 AI 的能力，目标是构建一个足够对齐的 AI 系统，再由它帮助解决其余所有对齐问题。
OpenAI NewsAI 评分4242 OpenAI 推出新版内容审核工具 Moderation 端点
OpenAI 发布新版内容审核工具 Moderation 端点，改进此前的内容过滤器，即日起免费向 OpenAI API 开发者开放。
OpenAI NewsAI 评分3838 OpenAI 为 DALL·E 2 降低偏见并提升安全性
OpenAI 为 DALL·E 2 部署了一项新技术，使其生成的人物图像能更准确地反映世界人口的多样性，以减少偏见并提升安全性。
OpenAI NewsAI 评分4242 DALL·E 2 预训练缓解措施
为向广泛受众开放 DALL·E 2，OpenAI 在预训练阶段采取缓解措施，以降低强大图像生成模型带来的风险。为此，OpenAI 设置了多种防护栏，防止生成图像违反其内容政策。
OpenAI News精选AI 评分6262 OpenAI 训练批评写作模型，帮助人类发现摘要缺陷
OpenAI 训练了批评写作模型，用于描述摘要中的缺陷。人类评估者在看到模型给出的批评后，发现摘要缺陷的频率明显提高。研究还发现，模型规模越大自我批评能力越强，且规模对批评写作的提升大于对摘要写作的提升，这为用 AI 系统辅助人类监督 AI 系统提供了可能。
推荐理由：OpenAI 用模型写批评来辅助人类发现摘要缺陷，并观察到规模对自我批评能力的提升更明显。
Hugging Face BlogAI 评分2222 Hugging Face 多模态团队发布伦理章程，将伦理原则置于研究生命周期核心
Hugging Face 多模态学习团队发布了一份伦理章程，将伦理原则正式纳入其机器学习研究生命周期的起点。章程列出内容政策，明确禁止生成虚假信息、个人身份信息及在医疗、法律、金融等高风险领域的轻率使用，并提出透明、开放可复现、公平、自我批判和尊重署名五项价值观。该文件反映 2022 年 5 月的思考状态，属进行中的工作，更新将通过 GitHub 追踪。
Hugging Face BlogAI 评分1212 Hugging Face 机器学习专家访谈：Sasha Luccioni 谈 AI 碳足迹与数据伦理
Hugging Face 研究科学家 Sasha Luccioni 在访谈中介绍了她在 Big Science 项目中主持碳足迹工作组的工作，研究范围涵盖 GPU 训练时长、制造成本乃至一封邮件产生的 CO2 排放。她还参与数据工作组，关注数据策展、多语言性与模型训练数据的伦理问题。
OpenAI NewsAI 评分2222 OpenAI 如何度量古德哈特定律
OpenAI 探讨古德哈特定律在 AI 优化中的影响：当一个度量指标变成目标时，它就不再是好的度量。该定律源自经济学，但在 OpenAI 优化难以或高成本度量的目标时同样适用。
Hugging Face BlogAI 评分2222 Hugging Face 机器学习专家访谈：Margaret Mitchell 谈伦理 AI 与数据偏见
Hugging Face 发布机器学习专家访谈，嘉宾 Margaret Mitchell 曾任 Google 伦理 AI 团队创始人与联合负责人，现于 Hugging Face 制定伦理 AI 研究协议。
OpenAI NewsAI 评分3030 OpenAI 分享语言模型安全与滥用问题的经验教训
OpenAI 公开其在语言模型安全与滥用方面的最新思考，旨在帮助其他 AI 开发者应对已部署模型的安全与滥用问题。
OpenAI News精选AI 评分8282 OpenAI 发布 InstructGPT，成为 API 默认语言模型
OpenAI 训练出 InstructGPT 模型，在遵循用户意图方面明显优于 GPT-3，同时更真实、毒性更低，训练过程引入人类反馈。这些模型现已作为 OpenAI API 的默认语言模型部署。
推荐理由：OpenAI 说明 InstructGPT 通过人类反馈训练，在遵循用户意图、真实性和毒性上优于 GPT-3，并已成为 API 默认模型。
OpenAI NewsAI 评分4242 OpenAI 研究：用精选数据集微调可改善语言模型行为
OpenAI 研究发现，通过在小型精选数据集上微调，可以改善语言模型在特定行为价值观方面的表现。
OpenAI NewsAI 评分3131 OpenAI 参与发布 AI 可验证性多利益相关方报告，提出 10 项机制
OpenAI 参与发布了一份由 30 个机构、58 位合著者共同完成的多利益相关方报告，提出 10 项机制以提升 AI 系统相关声明的可验证性。开发者可借助这些工具证明 AI 系统安全、可靠、公平或保护隐私，用户、政策制定者和公民社会也可据此评估 AI 开发过程。
OpenAI NewsAI 评分4242 OpenAI 发布 Safety Gym：面向强化学习智能体安全约束的评测环境与工具套件
OpenAI 发布 Safety Gym，一套用于衡量强化学习智能体在训练中遵守安全约束进展的环境与工具套件。该套件面向安全约束下的强化学习智能体评测，帮助测量其训练过程中的安全表现。
OpenAI NewsAI 评分3131 OpenAI 提出 UAR 指标：评估神经网络对未知对抗攻击的鲁棒性
OpenAI 开发出一种评估神经网络分类器能否抵御训练中未见对抗攻击的方法，并提出新指标 UAR（Unforeseen Attack Robustness），用于衡量单一模型面对未预期攻击时的鲁棒性。该方法强调需要在更多样化的未知攻击上衡量模型表现。
OpenAI NewsAI 评分2222 OpenAI 为何认为负责任的 AI 发展需要安全合作
OpenAI 发布政策研究论文，提出四项可立即采用的策略以提升 AI 安全规范领域长期行业合作的可能性：沟通风险与收益、技术协作、提高透明度、激励标准。分析指出，行业安全合作对确保 AI 系统安全有益至关重要，但竞争压力可能导致集体行动困境，使 AI 公司对安全投入不足。
OpenAI NewsAI 评分4040 OpenAI：AI 安全研究需要社会科学家参与
OpenAI 发表论文指出，长期 AI 安全研究需要社会科学家参与，才能确保 AI 对齐算法在涉及真实人类时有效。将先进 AI 系统与人类价值观对齐，需解决人类理性、情感与偏见心理学相关的诸多不确定性。OpenAI 计划招聘社会科学家全职投入这一方向，推动机器学习与社会科学的合作。
OpenAI NewsAI 评分4242 OpenAI 提出迭代放大（iterated amplification）AI 安全技术
OpenAI 提出名为迭代放大（iterated amplification）的 AI 安全技术，通过把复杂任务拆解为更简单的子任务来指定超出人类规模的行为与目标，而非依赖标注数据或奖励函数。该构想仍处于极早期阶段，目前仅在简单的玩具算法领域完成实验，OpenAI 认为它可能成为可扩展的 AI 安全方案。
OpenAI NewsAI 评分3838 OpenAI 提出通过辩论实现 AI 安全的技术
OpenAI 提出一种 AI 安全技术，训练智能体就话题相互辩论，由人类评判胜负。
OpenAI News精选AI 评分6060 OpenAI 联合多家机构发布 AI 恶意使用预测论文
OpenAI 与 Future of Humanity Institute、Centre for the Study of Existential Risk、Center for a New American Security。
推荐理由：OpenAI 联合多家机构用近一年时间梳理 AI 被恶意滥用的可能路径与防范思路，可作为早期 AI 安全治理讨论的参照。
OpenAI NewsAI 评分3838 OpenAI 提出通过教学实现可解释机器学习的方法
OpenAI 设计了一种让 AI 互相教学的方法，所选取的示例同时也能被人类理解。该方法会自动挑选最具信息量的示例来教授某个概念，例如用最适合描述"狗"这一概念的图像，实验显示它对 AI 教学有效。
OpenAI NewsAI 评分4242 OpenAI 开源 RL-Teacher：通过人类反馈训练 AI
OpenAI 开源了 RL-Teacher，一个通过偶发人类反馈而非手工设计奖励函数来训练 AI 的接口实现。该技术为迈向安全 AI 系统而开发，也适用于奖励难以明确指定的强化学习问题。
OpenAI News精选AI 评分6262 OpenAI 生成可跨尺度与视角欺骗神经网络的对抗图像
OpenAI 表示已生成能从不同尺度和视角稳定欺骗神经网络分类器的图像。这一结果对上周提出的说法构成挑战，即自动驾驶汽车因从多个尺度、角度和视角采集图像而难以被恶意欺骗。
推荐理由：OpenAI 展示可跨尺度与视角稳定欺骗分类器的对抗样本，为评估多视角感知的鲁棒性提供了反例。
OpenAI News精选AI 评分6262 OpenAI 与 DeepMind 合作研究从人类偏好中学习
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类在两种候选行为中指出哪个更好，来推断人类想要的目标。OpenAI 称，构建安全 AI 系统的一步是免去人类编写目标函数的需要，因为用简单代理替代复杂目标或把复杂目标写偏，可能导致不良甚至危险的行为。
推荐理由：OpenAI 与 DeepMind 安全团队合作提出从人类偏好推断目标的方法，可了解早期对齐研究的一条思路。
OpenAI NewsAI 评分4040 OpenAI 解析如何用对抗样本攻击机器学习模型
对抗样本是攻击者刻意设计、能让机器学习模型出错的输入，相当于机器的视觉错觉。OpenAI 展示了对抗样本如何跨不同媒介生效，并讨论了防御这类攻击为何困难。
OpenAI NewsAI 评分2222 OpenAI 探讨强化学习中的奖励函数设定错误
OpenAI 发文探讨强化学习算法中一种出人意料的失效模式：奖励函数设定错误。当奖励函数被错误指定时，算法会以反直觉的方式崩溃。
OpenAI NewsAI 评分4242 OpenAI 参与合著论文《Concrete Problems in AI Safety》
OpenAI 与 Berkeley、Stanford 的研究者共同合著了由 Google Brain 研究者主导的论文《Concrete Problems in AI Safety》，该论文探讨了确保现代机器学习系统按预期运行的诸多研究问题。
OpenAI NewsAI 评分88 OpenAI 的技术目标
OpenAI 阐述其使命是构建安全的 AI，并确保 AI 带来的益处尽可能广泛且均衡地惠及所有人。