跳到正文

#多模态

今日 0 条
11月2日周一
  1. InfoQ中文70

    Yann LeCun 发新论文挑战 Scaling Law:1.09 亿参数胜过 720 亿,模型越大不一定越懂世界

    Yann LeCun 与其合作者提出了一种新的跨模态表征对齐方法,通过实验证明了一个仅有 1.09 亿参数的文本模型在跨模态表征对齐测试中超过了包括 Qwen2.5-72B、Llama-3-70B 在内的大型语言模型。

    推荐理由:LeCun 的论文挑战了 AI 行业中模型规模与理解能力的关系,提出了新的跨模态表征对齐方法,对 AI 理论研究有重要意义。

10月12日周一
  1. 量子位85

    何恺明团队发布多模态Harness框架VISTA:视觉原生推理新框架

    何恺明团队提出的VISTA框架,通过保存和利用视觉信息,显著提升了多模态模型在交互式视觉推理任务中的表现,为Agent能力的发展提供了新的思路。

    推荐理由:VISTA框架通过保存和利用视觉信息,显著提升了多模态模型在交互式视觉推理任务中的表现,为Agent能力的发展提供了新的思路。

10月11日周日
10月8日周四
  1. 量子位62

    何恺明团队提出NAT-ARC:用ImageNet猫狗图预训练解ARC抽象推理

    何恺明团队提出纯视觉ARC解题方案NAT-ARC,在VARC流程前插入ImageNet MAE预训练,不依赖LLM。表现最好的单模型为0.6B的huge尺度,ARC-1上pass@2达63.4±0.7%,集成后达70.2±0.6%,总参数量约2B。

    推荐理由:论文用ImageNet预训练打通视觉路线在ARC上的scaling瓶颈,并给出注意力可视化与任务拆解证据。

10月7日周三
10月3日周六
10月1日周四
  1. 量子位62

    何恺明团队提出NAT-ARC:用ImageNet预训练让纯视觉方案解ARC

    何恺明团队提出NAT-ARC,一套不依赖LLM的纯视觉ARC解题方案,用ImageNet上的MAE预训练encoder后迁移到抽象格子推理。表现最好的单模型为0.6B的huge尺度,在ARC-1上取得63.4%的pass@2分数,集成后达到70.2%,逼近使用8B语言模型的专用系统The ARChitects的71.6%。

    推荐理由:论文用ImageNet预训练打通视觉路线在ARC上的scaling瓶颈,并给出注意力与可视化证据。

8月13日周四
  1. Microsoft Research39

    微软研究院发布 MindTopo 基准,揭示多模态模型拓扑推理短板

    微软研究院推出 MindTopo 基准,用于评估多模态大语言模型的拓扑推理能力,覆盖连通性、分离、顺序、包围与打结五类关系,并区分静态推理与交互规划两个认知层级。测试显示,当前模型在静态识别上明显优于交互规划,且两者均远低于人类水平,失败多出现在规划阶段而非感知阶段。图像与视频生成仅在单帧内保留拓扑关系时有用,跨动作序列仍不可靠。

8月12日周三
4月30日周四
  1. Google DeepMind62

    Google DeepMind 发布 AI co-clinician 医疗智能体研究

    Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中,该系统 97 例无关键错误,医生更偏好其回答而非现有证据合成工具;在 20 个模拟远程问诊场景、140 项问诊技能评估中,专家医生整体表现更好,但 AI 在 68 项上达到或超过初级保健医生水平。

    推荐理由:Google DeepMind 公开 AI co-clinician 研究,含 98 例零关键错误与 140 项问诊能力对比,可看医疗智能体的能力边界。

12月9日周二
11月11日周二
  1. Google DeepMind52

    Google DeepMind 在 Nature 发表研究:让 AI 视觉表征更接近人类

    Google DeepMind 在 Nature 发表新论文,分析 AI 视觉模型与人类在组织视觉世界上的差异,并提出一种三步对齐方法。该方法先用 THINGS 数据集训练一个冻结主模型的小型适配器作为教师模型,再生成包含百万张图像、数百万条类人判断的 AligNet 数据集,最后微调其他学生模型。

    推荐理由:DeepMind 在 Nature 发表视觉对齐研究,读者可了解人类与模型表征差异及三步对齐方法。

11月6日周四
3月4日周四
  1. OpenAI News52

    OpenAI 在 CLIP 中发现多模态神经元

    OpenAI 在 CLIP 中发现了一类多模态神经元,无论概念以字面、符号还是概念化形式呈现,它们都会对同一概念产生响应。这可能解释 CLIP 在分类出人意料的视觉变体时的准确表现,也是理解 CLIP 及类似模型所学关联与偏置的重要一步。

    推荐理由:OpenAI 公开 CLIP 中跨字面、符号与概念形式响应同一概念的多模态神经元,为理解其分类准确性与习得偏置提供线索。