使用 KVPress 在大型语言模型中掌握长上下文
Hugging Face 发布了关于在大型语言模型中掌握长上下文的研究,名为 KVPress。
推荐理由:原文探讨了在大型语言模型中掌握长上下文的方法,读者可以了解相关技术进展。
值得读的 AI 论文与研究成果:架构创新、训练方法、能力测量与理论进展的精选解读。
Hugging Face 发布了关于在大型语言模型中掌握长上下文的研究,名为 KVPress。
推荐理由:原文探讨了在大型语言模型中掌握长上下文的方法,读者可以了解相关技术进展。
OpenAI 为 o1 模型提出新的对齐策略“审议式对齐”,直接向模型教授安全规范,并训练其对这些规范进行推理。该策略借助模型的推理能力来提升语言模型的安全性。
推荐理由:OpenAI 公开 o1 模型的对齐策略,读者可了解推理能力如何被用于安全规范的理解与执行。
OpenAI 发布 o1 系统卡,说明在发布 o1 和 o1-mini 之前开展的安全工作,包括外部红队测试以及依据其 Preparedness Framework 进行的前沿风险评测。
推荐理由:OpenAI 官方披露 o1 与 o1-mini 发布前的安全评估流程,可了解其 Preparedness Framework 下的风险评测做法。
Hugging Face 发布了新的 LLM 评测基准 3C3H AraGen 和排行榜,对 LLM 评测方法进行了重新思考。
推荐理由:该论文提出了一个新的 LLM 评测基准,对 LLM 评测方法进行了重新思考,读者可以了解最新的评测技术和基准。
OpenAI 发布 GPT-4o 系统卡,用于说明该模型在安全与风险方面的评估情况。原文正文未能抓取,仅标题可用。
微软发布了 Florence-2 视觉语言模型的微调方法,该模型在图像生成和视频领域具有先进性。
推荐理由:介绍了微软最新的视觉语言模型 Florence-2 的微调方法,对图像生成和视频领域的研究者有参考价值。
Hugging Face Blog发布了一篇论文,探讨了将强化学习(RL)重新引入到RLHF中,并介绍了相关工具。
推荐理由:原文探讨了将强化学习(RL)重新引入到RLHF中,读者可以了解这一方法对现有工作流的影响。
OpenAI 发布 Model Spec,用于说明其模型在行为与价值取向上的规范。原文正文未能获取,具体内容暂无法确认。
OpenAI 发布关于指令层级的研究,指出当前 LLM 容易受到提示词注入、越狱等攻击,攻击者可用恶意提示词覆盖模型原有指令。该研究提出通过训练让 LLM 优先处理高权限指令。
推荐理由:OpenAI 提出指令层级训练思路,读者可了解模型如何区分不同优先级指令以抵御提示词注入。
OpenAI 公开视频生成模型 Sora,在可变时长、分辨率和宽高比的视频与图像上联合训练文本条件扩散模型,采用作用于视频和图像 latent code 时空 patch 的 Transformer 架构。其最大模型 Sora 可生成一分钟高保真视频,研究结果提示规模化视频生成模型是构建通用物理世界模拟器的一条可行路径。
推荐理由:OpenAI 首次公开视频生成模型 Sora 的技术思路,读者可了解时空 patch 训练与规模化模拟物理世界的路径。
Hugging Face 发布了 NPHardEval 领导板,通过复杂性和动态更新展示了大型语言模型的推理能力。
推荐理由:该研究通过复杂性和动态更新展示了大型语言模型的推理能力,对理解大型语言模型推理能力的发展具有重要意义。
Hugging Face Blog 发布了关于开放大语言模型与宪法AI的研究论文。
推荐理由:原文探讨了宪法AI与开放LLM的关系,读者可以了解这一领域的最新研究进展。
OpenAI 正在制定一套评估蓝图,用于衡量大语言模型可能协助制造生物威胁的风险。在包含生物学专家和学生的评估中,OpenAI 发现 GPT-4 对生物威胁制造准确率的提升最多只是轻微的。这一提升幅度尚不足以得出确定结论,但该发现是后续研究和社区讨论的起点。
推荐理由:OpenAI 公布 LLM 生物威胁风险的评估蓝图,并给出 GPT-4 在专家与学生测试中的初步结果。
Hugging Face 发布了大型语言模型幻觉排行榜,旨在开源地衡量大型语言模型中的幻觉现象。
推荐理由:该论文提出了一个用于衡量大型语言模型中幻觉现象的排行榜,对研究者和开发者具有重要意义。
OpenAI 提出一个面向超级对齐的新研究方向,并给出初步结果:能否利用深度学习的泛化特性,用弱监督者控制更强的模型。材料仅提供摘要,未给出具体方法或实验细节。
推荐理由:OpenAI 提出用弱监督者控制强模型的对齐研究方向,并给出初步结果,可作为理解超级对齐问题的一个入口。
OpenAI 发布 DALL·E 3 系统卡,用于说明该图像生成模型在安全与风险方面的评估情况。
OpenAI 发布 GPT-4V(ision) 系统卡,介绍该多模态模型在安全与部署方面的评估情况。
Hugging Face Blog 发布了一篇论文,探讨了使用同态加密技术实现加密大语言模型的可能性。
推荐理由:原文探讨了使用同态加密技术实现加密大语言模型的可能性,对关注数据安全和隐私的读者有重要价值。
OpenAI 训练了一个模型,通过奖励每一步正确推理(过程监督)而非只奖励最终正确答案(结果监督),在数学问题求解上取得新的 SOTA。除性能提升外,过程监督还带来对齐收益:直接训练模型产出被人类认可的思维链。
推荐理由:OpenAI 用过程监督替代结果监督训练数学推理模型,读者可了解两种奖励方式的差异与对齐收益。
OpenAI 使用 GPT-4 自动为大型语言模型中的神经元行为撰写解释,并对这些解释打分。团队同时发布了覆盖 GPT-2 全部神经元的解释与评分数据集,并说明这些解释并不完美。
推荐理由:OpenAI 用 GPT-4 自动为 GPT-2 神经元生成并评分解释,并公开全部神经元的解释数据集。