跳到正文

#多模态

今日 0 条
12月17日周三
  1. Google DeepMind82

    Google DeepMind 发布 Gemini 3 Flash

    Google DeepMind 发布 Gemini 3 Flash,主打前沿智能与速度兼顾,在 GPQA Diamond 得 90.4%、Humanity's Last Exam 无工具 33.7%、MMMU Pro 81.2%、SWE-bench Verified 78%,定价为每 100 万输入 token 0.50 美元、每 100 万输出 token 3 美元。

    推荐理由:官方给出 Gemini 3 Flash 的基准分数、定价与上线渠道,可据此判断它在速度与成本上的取舍。

12月9日周二
11月20日周四
  1. Google DeepMind58

    Google 在 Gemini 应用中上线 AI 图像验证功能

    Google 在 Gemini 应用中上线图像验证功能,用户上传图片并提问即可借助 SynthID 数字水印判断该图是否由 Google AI 生成或编辑。SynthID 自 2023 年推出以来已为超过 200 亿件 AI 生成内容添加水印,Google 还表示后续将把验证扩展到视频、音频以及 Search 等更多入口。

    推荐理由:Google 把 SynthID 水印检测做进 Gemini 应用,读者可了解 AI 图像溯源在产品侧的具体落地方式。

  2. Google DeepMind71

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image)图像模型

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),基于 Gemini 3 Pro 构建,面向开发者提供影棚级图像生成与编辑,已在 Google AI Studio 和 Vertex AI 以付费预览形式逐步开放。

    推荐理由:官方给出新图像模型的分辨率、文本渲染与搜索接地能力,读者可据此判断多模态应用的可用边界。

  3. Google DeepMind80

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image)图像生成与编辑模型

    Google DeepMind 发布 Nano Banana Pro(Gemini 3 Pro Image),基于 Gemini 3 Pro 构建,主打图像生成与编辑,支持在图中直接渲染多语言可读文本,并可连接 Google Search 获取实时信息。

    推荐理由:官方给出 Nano Banana Pro 的文本渲染、多图合成与分辨率等能力细节,可据此判断图像编辑工作流的变化。

11月19日周三
  1. Google DeepMind85

    Google DeepMind 发布 Gemini 3 Pro,并推出智能体开发平台 Google Antigravity

    Google DeepMind 发布 Gemini 3,其中 Gemini 3 Pro 在各项主要 AI 基准上超过此前版本,编码能力也强于 2.5 Pro,兼顾智能体工作流与复杂零样本任务。

    推荐理由:官方给出 Gemini 3 Pro 的基准成绩、API 定价与配套开发平台,读者可据此判断它在智能体编码和多模态场景中的定位。

  2. Google DeepMind88

    Google DeepMind 发布 Gemini 3,Pro 版即日上线搜索与 Gemini 应用

    Google DeepMind 发布 Gemini 3,首发 Gemini 3 Pro 预览版,即日起接入 Gemini 应用、搜索 AI Mode、AI Studio、Vertex AI、Gemini CLI 及新智能体开发平台 Google Antigravity。

    推荐理由:官方给出 Gemini 3 Pro 在推理、多模态与编码基准上的具体分数,并同步公布 Google Antigravity 开发平台。

11月13日周四
  1. Google DeepMind71

    Google DeepMind 发布 SIMA 2:接入 Gemini 的 3D 世界游戏智能体

    Google DeepMind 发布 SIMA 2,将 Gemini 模型嵌入智能体核心,使其从指令执行者升级为能推理目标、与用户对话并自我改进的游戏伙伴。SIMA 2 可理解多模态提示、多种语言和 emoji,在未训练过的游戏如 ASKA 和 MineDojo 上表现更接近人类玩家,还能在 Genie 3 生成的实时 3D 世界中行动。

    推荐理由:SIMA 2 把 Gemini 的推理能力接入 3D 游戏智能体,并给出自我改进与跨游戏泛化的具体路径。

11月11日周二
  1. Google DeepMind52

    Google DeepMind 在 Nature 发表研究:让 AI 视觉表征更接近人类

    Google DeepMind 在 Nature 发表新论文,分析 AI 视觉模型与人类在组织视觉世界上的差异,并提出一种三步对齐方法。该方法先用 THINGS 数据集训练一个冻结主模型的小型适配器作为教师模型,再生成包含百万张图像、数百万条类人判断的 AligNet 数据集,最后微调其他学生模型。

    推荐理由:DeepMind 在 Nature 发表视觉对齐研究,读者可了解人类与模型表征差异及三步对齐方法。

11月6日周四
9月30日周二
  1. OpenAI News72

    OpenAI 发布 Sora 2 视频与音频生成模型系统卡

    OpenAI 发布新一代视频与音频生成模型 Sora 2,并同步公开系统卡。相比 Sora,新模型在物理准确性、画面真实感、音频同步、可控性和风格覆盖范围上有所提升。

    推荐理由:官方系统卡披露 Sora 2 在物理准确性、同步音频与可控性上的能力变化,可据此判断视频生成模型的当前边界。

9月22日周一
8月7日周四
  1. OpenAI News82

    OpenAI 发布 GPT-5

    OpenAI 发布 GPT-5,称其为目前最强的 AI 系统,在智能水平上较此前所有模型有显著跃升。GPT-5 在编码、数学、写作、健康、视觉感知等方面达到当前最优表现。

    推荐理由:OpenAI 官方发布 GPT-5,给出其在编码、数学、写作、健康与视觉感知上的能力定位。

7月17日周四
4月8日周二
3月25日周二
12月9日周一
  1. OpenAI News75

    OpenAI 视频生成模型 Sora 上线 sora.com

    OpenAI 的视频生成模型 Sora 现已上线 sora.com 供用户使用。用户可生成最高 1080p 分辨率、最长 20 秒的视频,支持宽屏、竖屏和方形比例。用户可导入自有素材进行扩展、重混和融合,也可直接由文本生成全新内容。

    推荐理由:OpenAI 官方公布 Sora 的可用入口与生成规格,读者可据此了解视频生成能力与使用方式。

  2. OpenAI News62

    OpenAI 发布 Sora 视频生成模型系统卡

    OpenAI 发布 Sora 系统卡,介绍这是其视频生成模型,可接收文本、图像和视频输入并生成新视频。Sora 基于 DALL-E 和 GPT 系列模型的经验构建,定位是为用户提供更丰富的叙事与创意表达工具。

    推荐理由:OpenAI 官方系统卡披露 Sora 的输入输出形态与技术来源,可据此了解其能力边界。

11月21日周四
10月1日周二
9月26日周四
5月13日周一
2月15日周四
  1. OpenAI News82

    OpenAI 发布 Sora:视频生成模型作为世界模拟器

    OpenAI 公开视频生成模型 Sora,在可变时长、分辨率和宽高比的视频与图像上联合训练文本条件扩散模型,采用作用于视频和图像 latent code 时空 patch 的 Transformer 架构。其最大模型 Sora 可生成一分钟高保真视频,研究结果提示规模化视频生成模型是构建通用物理世界模拟器的一条可行路径。

    推荐理由:OpenAI 首次公开视频生成模型 Sora 的技术思路,读者可了解时空 patch 训练与规模化模拟物理世界的路径。

9月25日周一
3月14日周二
  1. OpenAI News94

    OpenAI 发布多模态大模型 GPT-4

    OpenAI 发布 GPT-4,称其为扩展深度学习的最新里程碑。GPT-4 是一个大型多模态模型,接受图像和文本输入、输出文本,在多项专业和学术基准上达到人类水平表现,但在许多真实场景中能力仍不及人类。

    推荐理由:OpenAI 官方给出 GPT-4 的多模态输入形态与基准表现,可据此了解这一代模型的能力边界。

  2. OpenAI News85

    OpenAI 发布 GPT-4

    OpenAI 发布 GPT-4,官方介绍其可在创意与技术写作任务中与用户生成、编辑和迭代内容,例如创作歌曲、撰写剧本,或学习用户的写作风格。

    推荐理由:OpenAI 官方发布 GPT-4,摘要点出其在创意与技术写作任务上的生成、编辑与迭代能力。

12月16日周五
3月4日周四
  1. OpenAI News52

    OpenAI 在 CLIP 中发现多模态神经元

    OpenAI 在 CLIP 中发现了一类多模态神经元,无论概念以字面、符号还是概念化形式呈现,它们都会对同一概念产生响应。这可能解释 CLIP 在分类出人意料的视觉变体时的准确表现,也是理解 CLIP 及类似模型所学关联与偏置的重要一步。

    推荐理由:OpenAI 公开 CLIP 中跨字面、符号与概念形式响应同一概念的多模态神经元,为理解其分类准确性与习得偏置提供线索。

1月5日周二
4月30日周四
  1. OpenAI News70

    OpenAI 发布生成音乐的神经网络 Jukebox

    OpenAI 推出 Jukebox,一个能生成音乐原始音频的神经网络,涵盖多种曲风和艺术家风格,并包含初步的歌唱声。OpenAI 同时公开了模型权重和代码,以及一个用于探索生成样本的工具。

    推荐理由:OpenAI 公开 Jukebox 的模型权重与代码,读者可了解这套生成原始音频的神经网络能产出哪些风格的音乐。

4月14日周二
  1. OpenAI News62

    OpenAI 推出 Microscope,可视化八个视觉模型各层与神经元

    OpenAI 推出 OpenAI Microscope,这是一个可视化集合,涵盖八个视觉“模式生物”模型的每个重要层和神经元,这些模型常用于可解释性研究。Microscope 让分析这些神经网络内部形成的特征更容易,OpenAI 希望它能帮助研究社区理解这些复杂系统。

    推荐理由:OpenAI 公开八个视觉模型各层与神经元的可视化集合,为可解释性研究提供统一观察入口。

4月25日周四
  1. OpenAI News62

    OpenAI 发布音乐生成神经网络 MuseNet

    OpenAI 发布 MuseNet,一个可生成 4 分钟、10 种乐器音乐作品的深度神经网络,并能融合从乡村到莫扎特再到披头士的多种风格。MuseNet 并未被显式编程音乐知识,而是通过预测数十万份 MIDI 文件中的下一个 token 来发现和声、节奏与风格规律。

    推荐理由:OpenAI 用与 GPT-2 相同的通用无监督技术训练音乐生成模型,读者可了解这套架构向音频领域的迁移路径。