跳到正文

#多模态

今日 0 条
9月29日周二
  1. Latent Space80

    AMD 以 82 亿美元收购 World Labs,Atlas 解决稀疏重建问题

    AMD 以 82 亿美元收购 World Labs。World Labs 创始人李飞飞在博客中回顾,公司自 2024 年成立以来构建了图像、视频与空间重建的模型训练团队,并在收购 SceniX 后推进机器人仿真能力。

    推荐理由:AMD 收购 World Labs 的价格与 Atlas 在稀疏重建上的定位,可帮助读者理解空间智能赛道的整合逻辑。

  2. Microsoft Research18

    微软亚洲研究院新加坡分院成立一年:推进前沿 AI 研究、合作与人才培养

    微软亚洲研究院新加坡分院(MSRA – Singapore)作为微软在东南亚的首个研究实验室,成立一年来围绕下一代 AI 模型与智能体系统、领域专用 AI、AI 原生研究实践、生态与人才培养四大方向展开工作。该实验室与新加坡医疗生态伙伴合作推进多模态医疗 AI 和自演化诊断智能体,并联合 EDB 于 2026 年 2 月举办物流与运输 AI 高管圆桌会。

9月25日周五
  1. Google DeepMind66

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,实现带精确唇形同步、自然表情和流畅轮次的视觉化对话。

    推荐理由:官方给出 Live Avatar 的实时视频对话能力、异步工具调用与 97 种语言同步等具体细节,可据此判断企业级多模态交互的落地形态。

9月24日周四
  1. 极客公园58

    Hyper3D 上线 Agentic Mode,把 3D 生成接入 Agent 工作流

    Hyper3D 近日上线智能交互功能 Agentic Mode,将 Hyper3D Rodin 与 LLM 多模态上下文分析整合进同一流程,可自主理解并优化输入、按任务选择建模路径,并把生成能力从创意资产拓展到带尺寸产品图纸的工业设计建模。

    推荐理由:Hyper3D 把输入理解与建模路径选择交给 Agent,读者可据此判断专业 3D 能力接入 Agent 工作流的门槛变化。

9月23日周三
9月22日周二
9月3日周四
  1. Google DeepMind66

    Google DeepMind 发布全球天气 AI 模型 WeatherNext 3

    Google DeepMind 与 Google Research 发布 WeatherNext 3,称其为目前最先进、最准确的全球天气模型,可直接学习实时卫星观测数据,每小时生成一次预报,最高分辨率达 5 公里,整体比上一代 WeatherNext 2 清晰约 5 倍。

    推荐理由:官方给出分辨率、更新频率与降水精度提升幅度,并说明已接入 Search、Gemini、Maps 等产品。

9月2日周三
8月28日周五
  1. Google DeepMind65

    Google DeepMind 发布 Gemini Omni 1.1 Flash,强化生成视频控制能力

    Google DeepMind 发布 Gemini Omni 1.1 Flash,为开发者提供场景延展、首尾帧插值、360p 快速草稿和最高 4K 上采样等生成视频控制能力,通过 Gemini API 在 Google AI Studio 提供。

    推荐理由:官方给出场景延展、首尾帧插值与 4K 上采样等具体能力变化,可据此判断生成视频工作流的可控程度。

8月13日周四
  1. Microsoft Research39

    微软研究院发布 MindTopo 基准,揭示多模态模型拓扑推理短板

    微软研究院推出 MindTopo 基准,用于评估多模态大语言模型的拓扑推理能力,覆盖连通性、分离、顺序、包围与打结五类关系,并区分静态推理与交互规划两个认知层级。测试显示,当前模型在静态识别上明显优于交互规划,且两者均远低于人类水平,失败多出现在规划阶段而非感知阶段。图像与视频生成仅在单帧内保留拓扑关系时有用,跨动作序列仍不可靠。

8月12日周三
  1. Google DeepMind71

    Google DeepMind 发布 SL2T 手语转文字模型,率先落地 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布多语言手语转文字模型 SL2T,首次把手语 AI 带入消费产品,在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语(ASL)转英文听写,后续将扩展更多设备与语言。

    推荐理由:官方给出 SL2T 的训练规模、基准分数与端侧隐私方案,可据此判断手语转文字落地的可行边界。

7月30日周四
  1. Google DeepMind74

    Google DeepMind 发布 Gemini Robotics ER 2 具身推理模型

    Google DeepMind 发布 Gemini Robotics ER 2,作为面向机器人的具身推理模型,可理解物理世界、规划多步任务并调用 Google Search 等工具,现已通过 Gemini API 和 Google AI Studio 向开发者开放,Gemini Enterprise Agent Platform 上处于私密预览。

    推荐理由:官方给出视频理解、任务编排与多机协作的能力变化和开放入口,可据此判断机器人在真实环境中的任务完成方式。

7月28日周二
7月21日周二
7月13日周一
7月1日周三
6月9日周二
5月18日周一
  1. Google DeepMind58

    Google DeepMind 为 Project Genie 加入 Street View 真实场景生成能力

    Google DeepMind 在实验性原型 Project Genie 中上线 Street View 真实影像接地能力,用户可选取美国地点并搭配风格与角色描述,生成以真实地点为起点的可交互世界。

    推荐理由:原文给出 Genie 接入 Street View 真实影像后的世界生成方式与开放范围,读者可据此判断世界模型落地路径。

5月17日周日
  1. Google DeepMind66

    Google 将 SynthID 与 C2PA 内容验证扩展到搜索、Gemini 和 Chrome

    Google 宣布扩展内容透明度与验证工具,把 SynthID 的图像、视频和音频验证从 Gemini 应用扩展到搜索,并将在未来几周进入 Chrome;该验证功能在 Gemini 中已被使用 5000 万次。

    推荐理由:Google 把 SynthID 与 C2PA 验证铺到搜索、Gemini 和 Chrome,读者可据此了解内容溯源工具的落地范围。

5月16日周六
  1. Google DeepMind85

    Google DeepMind 发布 Gemini 3.5 Flash,主打智能体与编码

    Google DeepMind 发布 Gemini 3.5 模型家族,首发 3.5 Flash,定位为面向智能体与编码的前沿模型,即日起通过 Gemini app、Google Search 的 AI Mode、Google Antigravity、Gemini API、Android Studio 以及 Gemini Enterprise 等渠道开放。

    推荐理由:官方给出 3.5 Flash 在编码与智能体基准上的成绩和开放入口,可据此判断速度与成本取舍。

4月30日周四
  1. Google DeepMind62

    Google DeepMind 发布 AI co-clinician 医疗智能体研究

    Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中,该系统 97 例无关键错误,医生更偏好其回答而非现有证据合成工具;在 20 个模拟远程问诊场景、140 项问诊技能评估中,专家医生整体表现更好,但 AI 在 68 项上达到或超过初级保健医生水平。

    推荐理由:Google DeepMind 公开 AI co-clinician 研究,含 98 例零关键错误与 140 项问诊能力对比,可看医疗智能体的能力边界。

4月21日周二
  1. OpenAI News60

    OpenAI 发布 ChatGPT Images 2.0

    OpenAI 发布 ChatGPT Images 2.0,改进了文字渲染、多语言支持和视觉推理能力。官方同时提到可查看 Images 2.5 的新变化。

    推荐理由:官方给出图像生成在文字渲染、多语言与视觉推理上的改进方向,可据此判断多模态能力的演进重点。

4月13日周一
  1. Google DeepMind71

    Google DeepMind 发布 Gemini Robotics-ER 1.6,新增仪表读数能力

    Google DeepMind 发布 Gemini Robotics-ER 1.6,这是其面向机器人的推理优先模型升级版,增强了空间推理与多视角理解,并新增仪表读数能力,可读取压力表、液位计和数字读数。

    推荐理由:官方给出与上一代及 Gemini 3.0 Flash 的对比,并新增仪表读数能力,可据此判断机器人在设施巡检中的自主程度。

4月3日周五
3月26日周四
  1. Google DeepMind72

    Google DeepMind 发布 Gemini 3.1 Flash Live 语音模型

    Google DeepMind 发布 Gemini 3.1 Flash Live,称其为目前质量最高的音频与语音模型,精度更高、延迟更低。该模型在 ComplexFuncBench Audio 上取得 90.8%,在 Scale AI 的 Audio MultiChallenge 上开启 thinking 后取得 36.1%。

    推荐理由:官方给出语音模型的基准成绩与多端开放入口,可据此判断实时语音智能体的能力边界。

3月17日周二
  1. OpenAI News62

    OpenAI 发布 GPT-5.4 mini 和 nano

    OpenAI 发布 GPT-5.4 mini 和 nano,是 GPT-5.4 更小、更快的版本,针对编码、工具调用、多模态推理以及高并发 API 和子智能体负载做了优化。

    推荐理由:OpenAI 推出 GPT-5.4 的小型版本,读者可据此了解其在编码、工具调用与高并发场景的定位。

3月6日周五
3月4日周三
  1. Google DeepMind71

    Google DeepMind 发布 Gemini 3.1 Flash-Lite

    Google DeepMind 推出 Gemini 3.1 Flash-Lite,这是 Gemini 3 系列中速度最快、成本最低的模型,即日起通过 Gemini API 在 Google AI Studio 面向开发者预览,并通过 Vertex AI 面向企业开放。

    推荐理由:官方给出价格、速度与基准数据,读者可据此判断高并发场景下的成本与延迟取舍。

2月27日周五
2月19日周四
  1. Google DeepMind62

    Gemini 应用上线 Lyria 3 音乐生成,支持文本与图片生成 30 秒曲目

    Google DeepMind 的 Lyria 3 音乐生成模型以 beta 形式在 Gemini 应用上线,用户用文本或上传图片、视频即可生成 30 秒带歌词或纯音乐的曲目,并配有 Nano Banana 生成的封面图。

    推荐理由:官方披露 Lyria 3 在 Gemini 应用中的生成方式、语言覆盖与 SynthID 音频验证能力,可据此判断音乐生成的使用边界。

1月30日周五
  1. Google DeepMind71

    Google DeepMind 向美国 AI Ultra 订阅用户开放 Project Genie 世界模型原型

    Google DeepMind 开始向美国 18 岁以上的 Google AI Ultra 订阅用户开放 Project Genie,这是一个由 Genie 3、Nano Banana Pro 和 Gemini 驱动的实验性研究原型,支持创建、探索和混编可交互世界。

    推荐理由:官方披露了 Project Genie 的三项核心能力与已知限制,可据此判断世界模型原型目前能做什么、还差什么。

1月16日周五
  1. Google DeepMind71

    DeepMind 发布 D4RT:统一 4D 场景重建与追踪模型

    Google DeepMind 发布 D4RT(Dynamic 4D Reconstruction and Tracking),一个统一 4D 场景重建与追踪的 AI 模型,采用编码器-解码器 Transformer 架构和查询机制,可并行回答像素在任意时间、任意相机视角下的 3D 位置。

    推荐理由:D4RT 把动态场景重建统一进单一框架,并给出相对既有方法的效率倍数,可据此判断 4D 重建的工程可行性。