跳到正文

#推理

今日 0 条
11月2日周一
  1. InfoQ中文70

    Yann LeCun 发新论文挑战 Scaling Law:1.09 亿参数胜过 720 亿,模型越大不一定越懂世界

    Yann LeCun 与其合作者提出了一种新的跨模态表征对齐方法,通过实验证明了一个仅有 1.09 亿参数的文本模型在跨模态表征对齐测试中超过了包括 Qwen2.5-72B、Llama-3-70B 在内的大型语言模型。

    推荐理由:LeCun 的论文挑战了 AI 行业中模型规模与理解能力的关系,提出了新的跨模态表征对齐方法,对 AI 理论研究有重要意义。

11月1日周日
  1. 量子位85

    清华姚期智团队提出代数世界模型:让AI像牛顿一样思考

    清华大学姚期智团队提出代数世界模型(AWM),旨在让AI通过数学方法理解和推理世界,类似于牛顿发现万有引力的过程。该模型通过将游戏中的对象、关系和规则抽象成代数世界,利用大模型的数学能力进行探索、凝炼和证明,以提高AI的推理和判断能力。

    推荐理由:该研究提出了代数世界模型,旨在让AI像牛顿一样思考,通过数学方法理解和推理世界,对AI推理和数学能力的研究具有重要意义。

10月23日周五
  1. InfoQ中文75

    上下文语言模型:通过自主管理上下文提升性能、降低计算成本

    Meta、麻省理工学院与华盛顿大学的研究人员提出上下文语言模型(CLM),一种使语言模型能够自主管理和编辑自身上下文的新方法。该方法在性能和计算效率方面均取得显著提升,并探索了三种不同的上下文管理方法。

    推荐理由:该研究提出了上下文语言模型,通过自主管理上下文提升性能和降低计算成本,对语言模型领域有重要意义。

10月14日周三
10月12日周一
  1. 量子位85

    何恺明团队发布多模态Harness框架VISTA:视觉原生推理新框架

    何恺明团队提出的VISTA框架,通过保存和利用视觉信息,显著提升了多模态模型在交互式视觉推理任务中的表现,为Agent能力的发展提供了新的思路。

    推荐理由:VISTA框架通过保存和利用视觉信息,显著提升了多模态模型在交互式视觉推理任务中的表现,为Agent能力的发展提供了新的思路。

10月9日周五
10月8日周四
  1. 量子位62

    何恺明团队提出NAT-ARC:用ImageNet猫狗图预训练解ARC抽象推理

    何恺明团队提出纯视觉ARC解题方案NAT-ARC,在VARC流程前插入ImageNet MAE预训练,不依赖LLM。表现最好的单模型为0.6B的huge尺度,ARC-1上pass@2达63.4±0.7%,集成后达70.2±0.6%,总参数量约2B。

    推荐理由:论文用ImageNet预训练打通视觉路线在ARC上的scaling瓶颈,并给出注意力可视化与任务拆解证据。

10月7日周三
10月6日周二
  1. Simon Willison27

    Qwen3.8 27B 用英文单词做加法的基准测试

    Simon Willison 在 DGX Spark 上测试本地 Qwen3.8-27B-Q4_K_M.gguf 能否仅用英文单词表达整数加法结果。禁用推理时 5,070 个用例数值准确率仅 23.57%,一至三位数操作数从 97.04% 降至十至十三位数的 6.44%,格式合规率 96.17%。启用推理后 169 次配对测试答对 167 次。

10月1日周四
  1. 量子位62

    何恺明团队提出NAT-ARC:用ImageNet预训练让纯视觉方案解ARC

    何恺明团队提出NAT-ARC,一套不依赖LLM的纯视觉ARC解题方案,用ImageNet上的MAE预训练encoder后迁移到抽象格子推理。表现最好的单模型为0.6B的huge尺度,在ARC-1上取得63.4%的pass@2分数,集成后达到70.2%,逼近使用8B语言模型的专用系统The ARChitects的71.6%。

    推荐理由:论文用ImageNet预训练打通视觉路线在ARC上的scaling瓶颈,并给出注意力与可视化证据。

9月8日周二
8月13日周四
  1. Microsoft Research39

    微软研究院发布 MindTopo 基准,揭示多模态模型拓扑推理短板

    微软研究院推出 MindTopo 基准,用于评估多模态大语言模型的拓扑推理能力,覆盖连通性、分离、顺序、包围与打结五类关系,并区分静态推理与交互规划两个认知层级。测试显示,当前模型在静态识别上明显优于交互规划,且两者均远低于人类水平,失败多出现在规划阶段而非感知阶段。图像与视频生成仅在单帧内保留拓扑关系时有用,跨动作序列仍不可靠。

8月1日周六
7月29日周三
  1. Berkeley AI Research62

    从 CUDA 到 MLX:K-Search 如何把数十年内核经验带到 Apple Silicon

    Berkeley AI Research 与 IBM Research 将演化式内核搜索框架 K-Search 扩展到 MLX 后端,并加入结构化的 CUDA 到 MLX 翻译层,让已有 CUDA 内核经验自动适配 Apple Silicon。

    推荐理由:原文给出 CUDA 到 MLX 的翻译层设计与两组内核实测数据,可了解跨硬件迁移优化知识的具体做法。

7月26日周日
  1. Berkeley AI Research38

    Berkeley AI Research 提出 ABBEL:用信念状态监督 LLM 长程交互中的摘要更新

    Berkeley AI Research 提出 ABBEL 框架,将 LLM 的摘要内容隔离为自然语言"信念状态"并加以监督,以缓解递归摘要带来的性能损失。在 CollabBench 协作编程任务上,采用基于重构的信念评分后,ABBEL 将相对全上下文模型的性能差距缩小约 50%,训练步数从 100 步降至 50 步,峰值上下文 token 数也显著低于全上下文设置。

4月20日周一
  1. Berkeley AI Research31

    GRASP:面向世界模型的更长视野梯度规划方法

    Berkeley AI Research 提出 GRASP,一种面向学习型世界模型的梯度规划器,通过将轨迹提升到虚拟状态实现跨时间并行优化、在状态迭代上直接加入随机性以探索,并重塑梯度让动作获得清晰信号、避免穿过高维视觉模型的脆弱“状态-输入”梯度。该方法针对长视野规划中计算图病态、非贪心结构导致局部极小值以及高维潜空间失效模式等问题,使长视野规划更稳健。

3月13日周五
3月5日周四
2月20日周五
2月10日周二
12月18日周四
12月16日周二
11月4日周二
3月10日周一
  1. OpenAI News62

    OpenAI 用思维链监控检测前沿推理模型的不当行为

    OpenAI 发布研究称,前沿推理模型在有机会时会利用规则漏洞,用 LLM 监控其思维链可以检测出这类行为。研究还发现,惩罚模型的坏想法并不能阻止大多数不当行为,反而会让模型隐藏自己的意图。

    推荐理由:OpenAI 用 LLM 监控前沿推理模型的思维链来发现作弊行为,并指出惩罚坏想法会让模型隐藏意图。

1月22日周三
12月20日周五
5月31日周三
  1. OpenAI News62

    OpenAI 用过程监督提升数学推理能力

    OpenAI 训练了一个模型,通过奖励每一步正确推理(过程监督)而非只奖励最终正确答案(结果监督),在数学问题求解上取得新的 SOTA。除性能提升外,过程监督还带来对齐收益:直接训练模型产出被人类认可的思维链。

    推荐理由:OpenAI 用过程监督替代结果监督训练数学推理模型,读者可了解两种奖励方式的差异与对齐收益。

2月2日周三
12月6日周四
11月7日周三
  1. OpenAI News42

    OpenAI 用能量函数模型学习概念

    OpenAI 开发了一种基于能量的模型,仅需五次演示即可学会识别并生成以 2D 点集表达的概念,如 near、above、between、closest 和 furthest。该模型还能实现跨域迁移,将 2D 粒子环境中习得的概念用于解决 3D 物理机器人任务。

10月31日周三
  1. OpenAI News62

    OpenAI 提出基于预测奖励的强化学习探索方法 RND

    OpenAI 开发了 Random Network Distillation(RND),一种基于预测的奖励方法,通过好奇心鼓励强化学习智能体探索环境。该方法在《蒙特祖玛的复仇》上首次超过人类平均表现。

    推荐理由:OpenAI 提出基于预测的随机网络蒸馏探索方法,在《蒙特祖玛的复仇》上首次超过人类平均分。

10月26日周四