跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

141条精选相关主题图像生成AI 视频语音与音频

最新精选

第 121–140 条 · 共 141 条
3月4日周二
2月4日周二
12月9日周一
  1. OpenAI News75

    OpenAI 视频生成模型 Sora 上线 sora.com

    OpenAI 的视频生成模型 Sora 现已上线 sora.com 供用户使用。用户可生成最高 1080p 分辨率、最长 20 秒的视频,支持宽屏、竖屏和方形比例。用户可导入自有素材进行扩展、重混和融合,也可直接由文本生成全新内容。

    推荐理由:OpenAI 官方公布 Sora 的可用入口与生成规格,读者可据此了解视频生成能力与使用方式。

  2. OpenAI News62

    OpenAI 发布 Sora 视频生成模型系统卡

    OpenAI 发布 Sora 系统卡,介绍这是其视频生成模型,可接收文本、图像和视频输入并生成新视频。Sora 基于 DALL-E 和 GPT 系列模型的经验构建,定位是为用户提供更丰富的叙事与创意表达工具。

    推荐理由:OpenAI 官方系统卡披露 Sora 的输入输出形态与技术来源,可据此了解其能力边界。

10月1日周二
6月24日周一
5月13日周一
2月15日周四
  1. OpenAI News82

    OpenAI 发布 Sora:视频生成模型作为世界模拟器

    OpenAI 公开视频生成模型 Sora,在可变时长、分辨率和宽高比的视频与图像上联合训练文本条件扩散模型,采用作用于视频和图像 latent code 时空 patch 的 Transformer 架构。其最大模型 Sora 可生成一分钟高保真视频,研究结果提示规模化视频生成模型是构建通用物理世界模拟器的一条可行路径。

    推荐理由:OpenAI 首次公开视频生成模型 Sora 的技术思路,读者可了解时空 patch 训练与规模化模拟物理世界的路径。

9月25日周一
3月14日周二
  1. OpenAI News94

    OpenAI 发布多模态大模型 GPT-4

    OpenAI 发布 GPT-4,称其为扩展深度学习的最新里程碑。GPT-4 是一个大型多模态模型,接受图像和文本输入、输出文本,在多项专业和学术基准上达到人类水平表现,但在许多真实场景中能力仍不及人类。

    推荐理由:OpenAI 官方给出 GPT-4 的多模态输入形态与基准表现,可据此了解这一代模型的能力边界。

  2. OpenAI News85

    OpenAI 发布 GPT-4

    OpenAI 发布 GPT-4,官方介绍其可在创意与技术写作任务中与用户生成、编辑和迭代内容,例如创作歌曲、撰写剧本,或学习用户的写作风格。

    推荐理由:OpenAI 官方发布 GPT-4,摘要点出其在创意与技术写作任务上的生成、编辑与迭代能力。

12月16日周五
3月4日周四
  1. OpenAI News52

    OpenAI 在 CLIP 中发现多模态神经元

    OpenAI 在 CLIP 中发现了一类多模态神经元,无论概念以字面、符号还是概念化形式呈现,它们都会对同一概念产生响应。这可能解释 CLIP 在分类出人意料的视觉变体时的准确表现,也是理解 CLIP 及类似模型所学关联与偏置的重要一步。

    推荐理由:OpenAI 公开 CLIP 中跨字面、符号与概念形式响应同一概念的多模态神经元,为理解其分类准确性与习得偏置提供线索。

1月5日周二
4月30日周四
  1. OpenAI News70

    OpenAI 发布生成音乐的神经网络 Jukebox

    OpenAI 推出 Jukebox,一个能生成音乐原始音频的神经网络,涵盖多种曲风和艺术家风格,并包含初步的歌唱声。OpenAI 同时公开了模型权重和代码,以及一个用于探索生成样本的工具。

    推荐理由:OpenAI 公开 Jukebox 的模型权重与代码,读者可了解这套生成原始音频的神经网络能产出哪些风格的音乐。

4月14日周二
  1. OpenAI News62

    OpenAI 推出 Microscope,可视化八个视觉模型各层与神经元

    OpenAI 推出 OpenAI Microscope,这是一个可视化集合,涵盖八个视觉“模式生物”模型的每个重要层和神经元,这些模型常用于可解释性研究。Microscope 让分析这些神经网络内部形成的特征更容易,OpenAI 希望它能帮助研究社区理解这些复杂系统。

    推荐理由:OpenAI 公开八个视觉模型各层与神经元的可视化集合,为可解释性研究提供统一观察入口。