OpenAI News·· 2024-04-20精选AI 评分60
OpenAI 提出指令层级：训练 LLM 优先处理高权限指令
The Instruction Hierarchy: Training LLMs to Prioritize Privileged Instructions
AI 导读
OpenAI 发布关于指令层级的研究，指出当前 LLM 容易受到提示词注入、越狱等攻击，攻击者可用恶意提示词覆盖模型原有指令。该研究提出通过训练让 LLM 优先处理高权限指令。
推荐理由
OpenAI 提出指令层级训练思路，读者可了解模型如何区分不同优先级指令以抵御提示词注入。
来源：OpenAI News · openai.com