跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

113条精选相关主题图像生成AI 视频语音与音频

最新精选

第 101–113 条 · 共 113 条
5月13日周一
2月15日周四
  1. OpenAI News82

    OpenAI 发布 Sora:视频生成模型作为世界模拟器

    OpenAI 公开视频生成模型 Sora,在可变时长、分辨率和宽高比的视频与图像上联合训练文本条件扩散模型,采用作用于视频和图像 latent code 时空 patch 的 Transformer 架构。其最大模型 Sora 可生成一分钟高保真视频,研究结果提示规模化视频生成模型是构建通用物理世界模拟器的一条可行路径。

    推荐理由:OpenAI 首次公开视频生成模型 Sora 的技术思路,读者可了解时空 patch 训练与规模化模拟物理世界的路径。

9月25日周一
3月14日周二
  1. OpenAI News94

    OpenAI 发布多模态大模型 GPT-4

    OpenAI 发布 GPT-4,称其为扩展深度学习的最新里程碑。GPT-4 是一个大型多模态模型,接受图像和文本输入、输出文本,在多项专业和学术基准上达到人类水平表现,但在许多真实场景中能力仍不及人类。

    推荐理由:OpenAI 官方给出 GPT-4 的多模态输入形态与基准表现,可据此了解这一代模型的能力边界。

  2. OpenAI News85

    OpenAI 发布 GPT-4

    OpenAI 发布 GPT-4,官方介绍其可在创意与技术写作任务中与用户生成、编辑和迭代内容,例如创作歌曲、撰写剧本,或学习用户的写作风格。

    推荐理由:OpenAI 官方发布 GPT-4,摘要点出其在创意与技术写作任务上的生成、编辑与迭代能力。

12月16日周五
3月4日周四
  1. OpenAI News52

    OpenAI 在 CLIP 中发现多模态神经元

    OpenAI 在 CLIP 中发现了一类多模态神经元,无论概念以字面、符号还是概念化形式呈现,它们都会对同一概念产生响应。这可能解释 CLIP 在分类出人意料的视觉变体时的准确表现,也是理解 CLIP 及类似模型所学关联与偏置的重要一步。

    推荐理由:OpenAI 公开 CLIP 中跨字面、符号与概念形式响应同一概念的多模态神经元,为理解其分类准确性与习得偏置提供线索。

1月5日周二
4月30日周四
  1. OpenAI News70

    OpenAI 发布生成音乐的神经网络 Jukebox

    OpenAI 推出 Jukebox,一个能生成音乐原始音频的神经网络,涵盖多种曲风和艺术家风格,并包含初步的歌唱声。OpenAI 同时公开了模型权重和代码,以及一个用于探索生成样本的工具。

    推荐理由:OpenAI 公开 Jukebox 的模型权重与代码,读者可了解这套生成原始音频的神经网络能产出哪些风格的音乐。

4月14日周二
  1. OpenAI News62

    OpenAI 推出 Microscope,可视化八个视觉模型各层与神经元

    OpenAI 推出 OpenAI Microscope,这是一个可视化集合,涵盖八个视觉“模式生物”模型的每个重要层和神经元,这些模型常用于可解释性研究。Microscope 让分析这些神经网络内部形成的特征更容易,OpenAI 希望它能帮助研究社区理解这些复杂系统。

    推荐理由:OpenAI 公开八个视觉模型各层与神经元的可视化集合,为可解释性研究提供统一观察入口。

4月25日周四
  1. OpenAI News62

    OpenAI 发布音乐生成神经网络 MuseNet

    OpenAI 发布 MuseNet,一个可生成 4 分钟、10 种乐器音乐作品的深度神经网络,并能融合从乡村到莫扎特再到披头士的多种风格。MuseNet 并未被显式编程音乐知识,而是通过预测数十万份 MIDI 文件中的下一个 token 来发现和声、节奏与风格规律。

    推荐理由:OpenAI 用与 GPT-2 相同的通用无监督技术训练音乐生成模型,读者可了解这套架构向音频领域的迁移路径。