OpenAI 发布 Safety Gym：面向强化学习智能体安全约束的评测环境与工具套件
OpenAI 发布 Safety Gym，一套用于衡量强化学习智能体在训练中遵守安全约束进展的环境与工具套件。该套件面向安全约束下的强化学习智能体评测，帮助测量其训练过程中的安全表现。
#安全/对齐
#安全/对齐
今日 0 条OpenAI NewsAI 评分4242
OpenAI NewsAI 评分3131 OpenAI 提出 UAR 指标：评估神经网络对未知对抗攻击的鲁棒性
OpenAI 开发出一种评估神经网络分类器能否抵御训练中未见对抗攻击的方法，并提出新指标 UAR（Unforeseen Attack Robustness），用于衡量单一模型面对未预期攻击时的鲁棒性。该方法强调需要在更多样化的未知攻击上衡量模型表现。
OpenAI NewsAI 评分2222 OpenAI 为何认为负责任的 AI 发展需要安全合作
OpenAI 发布政策研究论文，提出四项可立即采用的策略以提升 AI 安全规范领域长期行业合作的可能性：沟通风险与收益、技术协作、提高透明度、激励标准。分析指出，行业安全合作对确保 AI 系统安全有益至关重要，但竞争压力可能导致集体行动困境，使 AI 公司对安全投入不足。
OpenAI NewsAI 评分4040 OpenAI：AI 安全研究需要社会科学家参与
OpenAI 发表论文指出，长期 AI 安全研究需要社会科学家参与，才能确保 AI 对齐算法在涉及真实人类时有效。将先进 AI 系统与人类价值观对齐，需解决人类理性、情感与偏见心理学相关的诸多不确定性。OpenAI 计划招聘社会科学家全职投入这一方向，推动机器学习与社会科学的合作。
OpenAI NewsAI 评分4242 OpenAI 提出迭代放大（iterated amplification）AI 安全技术
OpenAI 提出名为迭代放大（iterated amplification）的 AI 安全技术，通过把复杂任务拆解为更简单的子任务来指定超出人类规模的行为与目标，而非依赖标注数据或奖励函数。该构想仍处于极早期阶段，目前仅在简单的玩具算法领域完成实验，OpenAI 认为它可能成为可扩展的 AI 安全方案。
OpenAI NewsAI 评分3838 OpenAI 提出通过辩论实现 AI 安全的技术
OpenAI 提出一种 AI 安全技术，训练智能体就话题相互辩论，由人类评判胜负。
OpenAI News精选AI 评分6060 OpenAI 联合多家机构发布 AI 恶意使用预测论文
OpenAI 与 Future of Humanity Institute、Centre for the Study of Existential Risk、Center for a New American Security。
推荐理由：OpenAI 联合多家机构用近一年时间梳理 AI 被恶意滥用的可能路径与防范思路，可作为早期 AI 安全治理讨论的参照。
OpenAI NewsAI 评分3838 OpenAI 提出通过教学实现可解释机器学习的方法
OpenAI 设计了一种让 AI 互相教学的方法，所选取的示例同时也能被人类理解。该方法会自动挑选最具信息量的示例来教授某个概念，例如用最适合描述"狗"这一概念的图像，实验显示它对 AI 教学有效。
OpenAI NewsAI 评分4242 OpenAI 开源 RL-Teacher：通过人类反馈训练 AI
OpenAI 开源了 RL-Teacher，一个通过偶发人类反馈而非手工设计奖励函数来训练 AI 的接口实现。该技术为迈向安全 AI 系统而开发，也适用于奖励难以明确指定的强化学习问题。
OpenAI News精选AI 评分6262 OpenAI 生成可跨尺度与视角欺骗神经网络的对抗图像
OpenAI 表示已生成能从不同尺度和视角稳定欺骗神经网络分类器的图像。这一结果对上周提出的说法构成挑战，即自动驾驶汽车因从多个尺度、角度和视角采集图像而难以被恶意欺骗。
推荐理由：OpenAI 展示可跨尺度与视角稳定欺骗分类器的对抗样本，为评估多视角感知的鲁棒性提供了反例。
OpenAI News精选AI 评分6262 OpenAI 与 DeepMind 合作研究从人类偏好中学习
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类在两种候选行为中指出哪个更好，来推断人类想要的目标。OpenAI 称，构建安全 AI 系统的一步是免去人类编写目标函数的需要，因为用简单代理替代复杂目标或把复杂目标写偏，可能导致不良甚至危险的行为。
推荐理由：OpenAI 与 DeepMind 安全团队合作提出从人类偏好推断目标的方法，可了解早期对齐研究的一条思路。
OpenAI NewsAI 评分4040 OpenAI 解析如何用对抗样本攻击机器学习模型
对抗样本是攻击者刻意设计、能让机器学习模型出错的输入，相当于机器的视觉错觉。OpenAI 展示了对抗样本如何跨不同媒介生效，并讨论了防御这类攻击为何困难。
OpenAI NewsAI 评分2222 OpenAI 探讨强化学习中的奖励函数设定错误
OpenAI 发文探讨强化学习算法中一种出人意料的失效模式：奖励函数设定错误。当奖励函数被错误指定时，算法会以反直觉的方式崩溃。
OpenAI NewsAI 评分4242 OpenAI 参与合著论文《Concrete Problems in AI Safety》
OpenAI 与 Berkeley、Stanford 的研究者共同合著了由 Google Brain 研究者主导的论文《Concrete Problems in AI Safety》，该论文探讨了确保现代机器学习系统按预期运行的诸多研究问题。
OpenAI NewsAI 评分88 OpenAI 的技术目标
OpenAI 阐述其使命是构建安全的 AI，并确保 AI 带来的益处尽可能广泛且均衡地惠及所有人。