OpenAI 联合多家机构发布 AI 恶意使用预测论文
OpenAI 与未来人类研究所、存在风险研究中心、新美国安全中心、电子前沿基金会等机构合作，共同撰写了一篇论文，预测恶意行为者可能如何滥用 AI 技术，以及可以预防和缓解这些威胁的潜在方法。该论文是双方近一年持续合作的成果。
推荐理由：OpenAI 与多家机构合作近一年，梳理 AI 被恶意滥用的可能路径与防范思路。
#安全/对齐
#安全/对齐
今日 0 条OpenAI News精选AI 评分6262
OpenAI NewsAI 评分4242 OpenAI 开源 RL-Teacher：用人类反馈训练 AI
OpenAI 开源了 RL-Teacher，一个通过偶尔的人类反馈而非手工设计奖励函数来训练 AI 的接口实现。该技术旨在推进安全 AI 系统，也适用于奖励难以明确指定的强化学习问题。
OpenAI NewsAI 评分4040 OpenAI 造出多尺度视角下稳定欺骗神经网络的对抗样本
OpenAI 造出能从不同尺度和视角稳定欺骗神经网络分类器的对抗图像，直接挑战了上周"自动驾驶汽车因多尺度、多角度采集图像而难以被恶意欺骗"的说法。
OpenAI News精选AI 评分6262 OpenAI 与 DeepMind 提出从人类偏好中学习目标的方法
OpenAI 与 DeepMind 安全团队合作开发了一种算法，通过让人类判断两种候选行为哪个更好，来推断人类想要的目标。该方法旨在省去人工编写目标函数的环节，因为用简单代理替代复杂目标或目标设定稍有偏差，都可能导致不良甚至危险的行为。
推荐理由：OpenAI 与 DeepMind 安全团队提出用人类偏好比较替代手写目标函数，为对齐研究提供了一条早期思路。
OpenAI NewsAI 评分3030 OpenAI 解析如何用对抗样本攻击机器学习模型
OpenAI 发文解析对抗样本——即攻击者刻意设计、能让机器学习模型出错的输入，如同机器的视觉错觉。文章展示了对抗样本在不同媒介上的表现，并讨论了为何防御这类攻击十分困难。
OpenAI NewsAI 评分3030 OpenAI 谈强化学习中的奖励函数设定错误
OpenAI 发文探讨强化学习算法中一种反直觉的失效模式：奖励函数设定错误。当奖励函数被错误指定时，算法会以出人意料的方式被"钻空子"，偏离设计者本意。
OpenAI NewsAI 评分3030 OpenAI 参与合著 Google Brain 主导的 AI 安全论文《Concrete Problems in AI Safety》
OpenAI 与 Berkeley、Stanford 的研究者共同合著了由 Google Brain 主导的论文《Concrete Problems in AI Safety》，该论文探讨了确保现代机器学习系统按预期运行的诸多研究问题。
OpenAI NewsAI 评分88 OpenAI 的技术目标
OpenAI 公布其技术目标：构建安全的 AI，并确保 AI 带来的益处尽可能广泛且均衡地分配。其使命同时强调安全与普惠两个方向。