跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

113条精选相关主题图像生成AI 视频语音与音频

最新精选

第 81–100 条 · 共 113 条
1月30日周五
  1. Google DeepMind71

    Google DeepMind 向美国 AI Ultra 订阅用户开放 Project Genie 世界模型原型

    Google DeepMind 开始向美国 18 岁以上的 Google AI Ultra 订阅用户开放 Project Genie,这是一个由 Genie 3、Nano Banana Pro 和 Gemini 驱动的实验性研究原型,支持创建、探索和混编可交互世界。

    推荐理由:官方披露了 Project Genie 的三项核心能力与已知限制,可据此判断世界模型原型目前能做什么、还差什么。

1月16日周五
  1. Google DeepMind71

    DeepMind 发布 D4RT:统一 4D 场景重建与追踪模型

    Google DeepMind 发布 D4RT(Dynamic 4D Reconstruction and Tracking),一个统一 4D 场景重建与追踪的 AI 模型,采用编码器-解码器 Transformer 架构和查询机制,可并行回答像素在任意时间、任意相机视角下的 3D 位置。

    推荐理由:D4RT 把动态场景重建统一进单一框架,并给出相对既有方法的效率倍数,可据此判断 4D 重建的工程可行性。

1月15日周四
1月14日周三
  1. Google DeepMind62

    Google DeepMind 更新 Veo 3.1 Ingredients to Video,新增竖屏输出与 1080p/4K 放大

    Google DeepMind 更新 Veo 3.1 Ingredients to Video,让基于参考图生成的视频在简单提示词下也有更丰富的对白与叙事,并提升角色、背景和物体的一致性。

    推荐理由:官方说明了 Ingredients to Video 在角色一致性与竖屏输出上的具体变化,可据此判断短视频生产流程的调整方向。

12月17日周三
  1. Google DeepMind82

    Google DeepMind 发布 Gemini 3 Flash

    Google DeepMind 发布 Gemini 3 Flash,主打前沿智能与速度兼顾,在 GPQA Diamond 得 90.4%、Humanity's Last Exam 无工具 33.7%、MMMU Pro 81.2%、SWE-bench Verified 78%,定价为每 100 万输入 token 0.50 美元、每 100 万输出 token 3 美元。

    推荐理由:官方给出 Gemini 3 Flash 的基准分数、定价与上线渠道,可据此判断它在速度与成本上的取舍。

11月20日周四
  1. Google DeepMind58

    Google 在 Gemini 应用中上线 AI 图像验证功能

    Google 在 Gemini 应用中上线图像验证功能,用户上传图片并提问即可借助 SynthID 数字水印判断该图是否由 Google AI 生成或编辑。SynthID 自 2023 年推出以来已为超过 200 亿件 AI 生成内容添加水印,Google 还表示后续将把验证扩展到视频、音频以及 Search 等更多入口。

    推荐理由:Google 把 SynthID 水印检测做进 Gemini 应用,读者可了解 AI 图像溯源在产品侧的具体落地方式。

  2. Google DeepMind71

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image)图像模型

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),基于 Gemini 3 Pro 构建,面向开发者提供影棚级图像生成与编辑,已在 Google AI Studio 和 Vertex AI 以付费预览形式逐步开放。

    推荐理由:官方给出新图像模型的分辨率、文本渲染与搜索接地能力,读者可据此判断多模态应用的可用边界。

  3. Google DeepMind80

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image)图像生成与编辑模型

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),基于 Gemini 3 Pro 构建,主打图像生成与编辑,支持在图中直接渲染多语言可读文本,并可连接 Google Search 获取实时信息。

    推荐理由:官方给出 Nano Banana Pro 的文本渲染、多图合成与分辨率等能力细节,可据此判断图像编辑工作流的变化。

11月19日周三
  1. Google DeepMind85

    Google DeepMind 发布 Gemini 3 Pro,并推出智能体开发平台 Google Antigravity

    Google DeepMind 发布 Gemini 3,其中 Gemini 3 Pro 在各项主要 AI 基准上超过此前版本,编码能力也强于 2.5 Pro,兼顾智能体工作流与复杂零样本任务。

    推荐理由:官方给出 Gemini 3 Pro 的基准成绩、API 定价与配套开发平台,读者可据此判断它在智能体编码和多模态场景中的定位。

  2. Google DeepMind88

    Google DeepMind 发布 Gemini 3,Pro 版即日上线搜索与 Gemini 应用

    Google DeepMind 发布 Gemini 3,首发 Gemini 3 Pro 预览版,即日起接入 Gemini 应用、搜索 AI Mode、AI Studio、Vertex AI、Gemini CLI 及新智能体开发平台 Google Antigravity。

    推荐理由:官方给出 Gemini 3 Pro 在推理、多模态与编码基准上的具体分数,并同步公布 Google Antigravity 开发平台。

11月13日周四
  1. Google DeepMind71

    Google DeepMind 发布 SIMA 2:接入 Gemini 的 3D 世界游戏智能体

    Google DeepMind 发布 SIMA 2,将 Gemini 模型嵌入智能体核心,使其从指令执行者升级为能推理目标、与用户对话并自我改进的游戏伙伴。SIMA 2 可理解多模态提示、多种语言和 emoji,在未训练过的游戏如 ASKA 和 MineDojo 上表现更接近人类玩家,还能在 Genie 3 生成的实时 3D 世界中行动。

    推荐理由:SIMA 2 把 Gemini 的推理能力接入 3D 游戏智能体,并给出自我改进与跨游戏泛化的具体路径。

11月11日周二
  1. Google DeepMind52

    Google DeepMind 在 Nature 发表研究:让 AI 视觉表征更接近人类

    Google DeepMind 在 Nature 发表新论文,分析 AI 视觉模型与人类在组织视觉世界上的差异,并提出一种三步对齐方法。该方法先用 THINGS 数据集训练一个冻结主模型的小型适配器作为教师模型,再生成包含百万张图像、数百万条类人判断的 AligNet 数据集,最后微调其他学生模型。

    推荐理由:DeepMind 在 Nature 发表视觉对齐研究,读者可了解人类与模型表征差异及三步对齐方法。

9月30日周二
  1. OpenAI News72

    OpenAI 发布 Sora 2 视频与音频生成模型系统卡

    OpenAI 发布新一代视频与音频生成模型 Sora 2,并同步公开系统卡。相比 Sora,新模型在物理准确性、画面真实感、音频同步、可控性和风格覆盖范围上有所提升。

    推荐理由:官方系统卡披露 Sora 2 在物理准确性、同步音频与可控性上的能力变化,可据此判断视频生成模型的当前边界。

8月7日周四
  1. OpenAI News82

    OpenAI 发布 GPT-5

    OpenAI 发布 GPT-5,称其为目前最强的 AI 系统,在智能水平上较此前所有模型有显著跃升。GPT-5 在编码、数学、写作、健康、视觉感知等方面达到当前最优表现。

    推荐理由:OpenAI 官方发布 GPT-5,给出其在编码、数学、写作、健康与视觉感知上的能力定位。

3月25日周二
12月9日周一
  1. OpenAI News75

    OpenAI 视频生成模型 Sora 上线 sora.com

    OpenAI 的视频生成模型 Sora 现已上线 sora.com 供用户使用。用户可生成最高 1080p 分辨率、最长 20 秒的视频,支持宽屏、竖屏和方形比例。用户可导入自有素材进行扩展、重混和融合,也可直接由文本生成全新内容。

    推荐理由:OpenAI 官方公布 Sora 的可用入口与生成规格,读者可据此了解视频生成能力与使用方式。

  2. OpenAI News62

    OpenAI 发布 Sora 视频生成模型系统卡

    OpenAI 发布 Sora 系统卡,介绍这是其视频生成模型,可接收文本、图像和视频输入并生成新视频。Sora 基于 DALL-E 和 GPT 系列模型的经验构建,定位是为用户提供更丰富的叙事与创意表达工具。

    推荐理由:OpenAI 官方系统卡披露 Sora 的输入输出形态与技术来源,可据此了解其能力边界。

10月1日周二
5月13日周一