OpenAI 封禁与"Spamouflage"行动关联的账号
OpenAI 封禁了一批与源自中国的"Spamouflage"行动相关的账号，这些账号利用 AI 研究社交媒体活动、生成帖子，并调试一个此前未被报道的网站。
#安全/对齐
#安全/对齐
今日 0 条OpenAI NewsAI 评分4242
OpenAI News精选AI 评分6060 OpenAI 提出指令层级：训练 LLM 优先处理高权限指令
OpenAI 发布关于指令层级的研究，指出当前 LLM 容易受到提示词注入、越狱等攻击，攻击者可用恶意提示词覆盖模型原有指令。该研究提出通过训练让 LLM 优先处理高权限指令。
推荐理由：OpenAI 提出指令层级训练思路，读者可了解模型如何区分不同优先级指令以抵御提示词注入。
OpenAI News精选AI 评分4848 OpenAI 称已阻断国家关联威胁行为者对 AI 的恶意使用
OpenAI 发布公告，称已阻断国家关联威胁行为者对 AI 的恶意使用。原文正文未能抓取，仅标题可用。
OpenAI News精选AI 评分4949 OpenAI 构建 LLM 辅助生物威胁的早期预警系统
OpenAI 正在制定一套评估蓝图，用于衡量大语言模型可能协助制造生物威胁的风险。在包含生物学专家和学生的评估中，OpenAI 发现 GPT-4 对生物威胁制造准确率的提升最多只是轻微的。这一提升幅度尚不足以得出确定结论，但该发现是后续研究和社区讨论的起点。
推荐理由：OpenAI 公布 LLM 生物威胁风险的评估蓝图，并给出 GPT-4 在专家与学生测试中的初步结果。
OpenAI NewsAI 评分2222 OpenAI 民主输入 AI 资助计划：经验总结与实施计划
OpenAI 公布了其"民主输入 AI"资助计划的结果，该计划资助了来自全球的 10 支团队，用于设计集体治理 AI 的想法和工具。OpenAI 总结了这些团队的创新成果与自身经验，并呼吁研究人员和工程师加入后续工作。
OpenAI NewsAI 评分4040 OpenAI 启动 1000 万美元 Superalignment Fast Grants 资助超人类 AI 对齐研究
OpenAI 启动总额 1000 万美元的 Superalignment Fast Grants，资助面向超人类 AI 系统对齐与安全的技术研究。资助方向包括弱到强泛化、可解释性、可扩展监督等。
OpenAI News精选AI 评分6060 OpenAI 提出弱到强泛化的超级对齐研究方向
OpenAI 提出一个面向超级对齐的新研究方向，并给出初步结果：能否利用深度学习的泛化特性，用弱监督者控制更强的模型。材料仅提供摘要，未给出具体方法或实验细节。
推荐理由：OpenAI 提出用弱监督者控制强模型的对齐研究方向，并给出初步结果，可作为理解超级对齐问题的一个入口。
OpenAI NewsAI 评分4040 OpenAI 构建前沿风险与准备工作体系
OpenAI 正在制定灾难性风险应对方法，以保障高能力 AI 系统的安全，具体举措包括组建一支 Preparedness 团队并发起一项挑战赛。
OpenAI NewsAI 评分2222 OpenAI 与 Anthropic、Google、Microsoft 公布 Frontier Model Forum 新执行董事及 1000 万美元 AI 安全基金
OpenAI 联合 Anthropic、Google 和 Microsoft 宣布了 Frontier Model Forum 的新任执行董事，并设立 1000 万美元的 AI 安全基金。
OpenAI NewsAI 评分2222 OpenAI 公开招募红队网络成员
OpenAI 宣布公开招募红队网络（Red Teaming Network）成员，邀请有意提升 OpenAI 模型安全性的领域专家加入。该网络旨在汇集外部专业力量参与模型安全测试与评估。
OpenAI NewsAI 评分3838 OpenAI 用 GPT-4 做内容审核
OpenAI 将 GPT-4 用于内容政策制定与内容审核决策，带来更一致的标注、更快的政策优化反馈闭环，并减少人工审核员的参与。
OpenAI NewsAI 评分4242 OpenAI 发起成立 Frontier Model Forum
OpenAI 联合组建新的行业机构 Frontier Model Forum，旨在推动前沿 AI 系统的安全与负责任开发。该论坛将推进 AI 安全研究、确定最佳实践与标准，并促进政策制定者与行业间的信息共享。
OpenAI NewsAI 评分2222 OpenAI 与多家头部实验室以自愿承诺推进 AI 治理
OpenAI 与其他领先 AI 实验室通过自愿承诺，共同强化 AI 的安全性、安全防护与可信度，推动 AI 治理向前迈进。
OpenAI NewsAI 评分2222 OpenAI 启动网络安全资助计划
OpenAI 启动网络安全资助计划，通过资助及其他支持方式，推动面向防御方的 AI 网络安全能力建设。
OpenAI NewsAI 评分3737 OpenAI 启动民主化 AI 规则制定资助计划
OpenAI 启动一项资助计划，将发放 10 笔各 10 万美元的资助，用于资助在法律允许范围内建立民主流程、决定 AI 系统应遵循何种规则的实验。
OpenAI NewsAI 评分2222 OpenAI 谈超级智能的治理
OpenAI 发文呼吁现在就开始思考超级智能的治理问题，即未来能力远超 AGI 的 AI 系统。文章指出当下正是着手考虑这一议题的好时机。
OpenAI NewsAI 评分2222 OpenAI 宣布启动漏洞赏金计划
OpenAI 宣布推出漏洞赏金计划，邀请外界帮助发现其技术与服务中的安全漏洞，以打造安全、可靠、可信的 AI 技术。该计划是 OpenAI 致力于开发安全且先进 AI 承诺的一部分。
OpenAI NewsAI 评分66 OpenAI 的 AI 安全方法
OpenAI 阐述了其 AI 安全方法，强调确保 AI 系统在构建、部署和使用各环节的安全性对其使命至关重要。
OpenAI NewsAI 评分2020 OpenAI 如何为 AGI 及更远的未来做规划
OpenAI 阐述其使命是确保通用人工智能（AGI）——即整体上比人类更聪明的 AI 系统——造福全人类。文章围绕 AGI 及更远未来的规划展开，探讨如何在推进这一目标的同时兼顾全人类的利益。
OpenAI NewsAI 评分4040 OpenAI 如何塑造 ChatGPT 的行为，以及由谁来决定？
OpenAI 正在澄清 ChatGPT 的行为是如何被塑造的，并公布改进计划：让用户拥有更多定制空间，同时在这些决策中引入更多公众意见。
OpenAI NewsAI 评分4040 OpenAI 推出识别 AI 生成文本的分类器
OpenAI 推出一款经过训练的分类器，用于区分 AI 生成文本与人类撰写文本。该工具旨在辅助判断文本来源，目前官方仅公布了这一基本功能定位。
OpenAI NewsAI 评分4040 OpenAI 与乔治城大学、斯坦福互联网天文台联合研究：语言模型如何被用于虚假信息宣传及风险缓解
OpenAI 联合乔治城大学安全与新兴技术中心及斯坦福互联网天文台，研究大语言模型可能被用于虚假信息宣传的方式，并发布了一份基于一年多研究的联合报告。报告梳理了语言模型若被用于放大虚假信息宣传会对信息环境构成的威胁，并提出了一套分析潜在缓解措施的框架。该合作还包括 2021 年 10 月一场汇集 30 位虚假信息研究者、机器学习专家与政策分析师的研讨会。
OpenAI NewsAI 评分3636 OpenAI 的对齐研究思路
OpenAI 正在提升 AI 系统从人类反馈中学习、以及协助人类评估 AI 的能力。其目标是构建一个足够对齐的 AI 系统，进而帮助解决其余所有对齐问题。
OpenAI NewsAI 评分4242 OpenAI 推出新版内容审核工具 Moderation endpoint
OpenAI 发布新版内容审核工具 Moderation endpoint，改进了此前的内容过滤器，即日起面向 OpenAI API 开发者免费开放。
OpenAI NewsAI 评分3636 OpenAI 为 DALL·E 2 降低偏见并提升安全性
OpenAI 为 DALL·E 2 部署了一项新技术，使其生成的人物图像能更准确地反映世界人口的多样性，以减少偏见并提升安全性。
OpenAI NewsAI 评分4242 DALL·E 2 预训练缓解措施
OpenAI 为向大众开放 DALL·E 2，在预训练阶段采取缓解措施以降低强大图像生成模型的风险。为此设置了多种防护机制，防止生成图像违反其内容政策。
OpenAI News精选AI 评分6060 OpenAI 训练批评写作模型帮助人类发现摘要缺陷
OpenAI 训练了批评写作模型，用于描述摘要中的缺陷。人类评估者在看到模型批评后，发现摘要缺陷的频率明显提高。更大的模型自我批评能力更强，规模对批评写作的提升大于对摘要写作的提升，这为用 AI 系统辅助人类监督 AI 系统在困难任务上的表现展示了前景。
推荐理由：OpenAI 训练批评写作模型辅助人类发现摘要缺陷，为 AI 监督 AI 提供早期实验证据。
OpenAI NewsAI 评分3030 OpenAI 如何衡量 Goodhart 定律
OpenAI 探讨 Goodhart 定律在 AI 目标优化中的体现：当一个度量指标变成目标时，它就不再是好的度量。由于许多真正想优化的目标难以或成本高昂地衡量，OpenAI 需要应对这一难题。
OpenAI NewsAI 评分3232 OpenAI 分享语言模型安全与滥用问题的经验教训
OpenAI 分享了其在语言模型安全与滥用问题上的最新思考，希望帮助其他 AI 开发者应对已部署模型的安全与滥用问题。
OpenAI News精选AI 评分8282 OpenAI 发布 InstructGPT，成为 API 默认语言模型
OpenAI 训练出比 GPT-3 更能遵循用户意图的语言模型 InstructGPT，同时更真实、有害内容更少，相关技术来自其对齐研究。这些模型采用人类参与反馈的训练方式，现已作为 OpenAI API 的默认语言模型部署。
推荐理由：OpenAI 说明 InstructGPT 通过人类反馈训练，在遵循用户意图、真实性和有害性上优于 GPT-3，并已成为 API 默认模型。
OpenAI NewsAI 评分4040 OpenAI 研究：用精选数据集微调可改善语言模型行为
OpenAI 研究发现，通过在小型精选数据集上微调，可以改善语言模型在特定行为价值观方面的表现。
OpenAI NewsAI 评分3434 OpenAI 参与发布 AI 可验证性报告，提出 10 项机制
OpenAI 参与发布了一份由 30 家机构 58 位作者共同撰写的报告，提出 10 项机制以提升 AI 系统相关声明的可验证性。开发者可借助这些工具证明 AI 系统安全、可靠、公平或保护隐私，用户、政策制定者与公民社会也可据此评估 AI 开发过程。
OpenAI News精选AI 评分5252 OpenAI 发布 Safety Gym 安全强化学习环境套件
OpenAI 发布 Safety Gym，一套用于衡量强化学习智能体在训练中遵守安全约束进展的环境与工具。该套件面向安全约束下的强化学习智能体评测。
推荐理由：OpenAI 发布用于衡量强化学习智能体安全约束遵守情况的环境与工具套件，读者可了解其评测目标。
OpenAI News精选AI 评分6767 OpenAI 用人类偏好微调 774M 参数 GPT-2
OpenAI 用人类反馈对 774M 参数的 GPT-2 语言模型进行微调，在多项任务上成功匹配外部人类标注者的偏好，但这些偏好并不总与 OpenAI 自身的一致。在摘要任务中，标注者偏好直接从输入中整句复制的内容，模型因此学会了复制；摘要任务需要 60k 条人类标注，而按不同风格续写文本等更简单的任务只需 5k 条。OpenAI 表示其动机是让安全技术更接近“机器与人对话”这一通用任务。
推荐理由：OpenAI 用人类反馈微调 GPT-2 的早期实验，展示了偏好数据如何让模型学会复制原文，也暴露了标注偏好与研究者预期的偏差。
OpenAI NewsAI 评分3232 OpenAI 提出 UAR 指标，评估神经网络抵御未见对抗攻击的鲁棒性
OpenAI 开发出一种方法，用于评估神经网络分类器能否可靠抵御训练中未见的对抗攻击，并提出新指标 UAR（Unforeseen Attack Robustness）。该指标可衡量单一模型面对未预期攻击时的鲁棒性，并强调需在更多样化的未见攻击上评估模型表现。
OpenAI NewsAI 评分2222 OpenAI 为何认为负责任 AI 发展需要安全合作
OpenAI 发布政策研究论文，提出四项可立即用于促进 AI 安全规范长期行业合作的策略：沟通风险与收益、技术协作、提升透明度、激励标准。分析指出，行业安全合作对确保 AI 系统安全有益至关重要，但竞争压力可能引发集体行动问题，导致 AI 公司对安全投入不足。
OpenAI NewsAI 评分4040 OpenAI：AI 安全研究需要社会科学家参与
OpenAI 发表论文指出，长期 AI 安全研究需要社会科学家参与，才能确保 AI 对齐算法在真实人类参与时有效。论文认为，将先进 AI 系统与人类价值观正确对齐，需解决人类理性、情感与偏见心理学相关的诸多不确定性。OpenAI 计划招聘社会科学家全职从事该研究，以推动机器学习与社会科学的合作。
OpenAI NewsAI 评分4242 OpenAI 提出迭代放大（iterated amplification）AI 安全技术
OpenAI 提出一种名为迭代放大（iterated amplification）的 AI 安全技术，通过将复杂任务拆解为更简单的子任务来指定超出人类规模的行为与目标，而非依赖标注数据或奖励函数。该构想仍处于早期阶段，目前仅在简单的玩具算法领域完成实验，OpenAI 认为它有望成为可扩展的 AI 安全方案。
OpenAI NewsAI 评分4242 OpenAI 提出通过辩论实现 AI 安全的技术
OpenAI 提出一种 AI 安全技术，训练智能体就话题相互辩论，由人类判断胜负。该方法旨在借助辩论提升 AI 系统的安全性。
OpenAI News精选AI 评分6262 OpenAI 联合多家机构发布 AI 恶意使用预测论文
OpenAI 与未来人类研究所、存在风险研究中心、新美国安全中心、电子前沿基金会等机构合作，共同撰写了一篇论文，预测恶意行为者可能如何滥用 AI 技术，以及可以预防和缓解这些威胁的潜在方法。该论文是双方近一年持续合作的成果。
推荐理由：OpenAI 与多家机构合作近一年，梳理 AI 被恶意滥用的可能路径与防范思路。