上下文语言模型:通过自主管理上下文提升性能、降低计算成本
Meta、麻省理工学院与华盛顿大学的研究人员提出上下文语言模型(CLM),一种使语言模型能够自主管理和编辑自身上下文的新方法。该方法在性能和计算效率方面均取得显著提升,并探索了三种不同的上下文管理方法。
推荐理由:该研究提出了上下文语言模型,通过自主管理上下文提升性能和降低计算成本,对语言模型领域有重要意义。
Meta、麻省理工学院与华盛顿大学的研究人员提出上下文语言模型(CLM),一种使语言模型能够自主管理和编辑自身上下文的新方法。该方法在性能和计算效率方面均取得显著提升,并探索了三种不同的上下文管理方法。
推荐理由:该研究提出了上下文语言模型,通过自主管理上下文提升性能和降低计算成本,对语言模型领域有重要意义。
Google DeepMind 联合 Kaggle 发布 FACTS Benchmark Suite,在原有 FACTS Grounding 基础上新增 Parametric、Search、Multimodal 三项基准,并将 Grounding 升级至 v2,共 3513 个公开样例。
OpenAI 对 GPT-3 进行微调,使其能借助基于文本的网页浏览器更准确地回答开放式问题。
推荐理由:OpenAI 用文本浏览器微调 GPT-3 提升开放问答事实准确率,可了解早期检索增强思路。