深入解析 Aya Vision:多语言多模态前沿进展
Aya Vision 在多语言多模态领域取得进展,原文深入解析了其技术细节和应用前景。
推荐理由:原文深入探讨了 Aya Vision 在多语言多模态领域的进展,对关注该领域的研究者具有参考价值。
文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。
Aya Vision 在多语言多模态领域取得进展,原文深入解析了其技术细节和应用前景。
推荐理由:原文深入探讨了 Aya Vision 在多语言多模态领域的进展,对关注该领域的研究者具有参考价值。
Hugging Face 发布了用于通用机器人控制的视觉-语言-动作模型 π0 和 π0-FAST,这些模型旨在通过结合视觉、语言和动作信息来控制机器人。
推荐理由:该研究提出了用于通用机器人控制的视觉-语言-动作模型,对机器人领域的研究者具有参考价值。
OpenAI 的视频生成模型 Sora 现已上线 sora.com 供用户使用。用户可生成最高 1080p 分辨率、最长 20 秒的视频,支持宽屏、竖屏和方形比例。用户可导入自有素材进行扩展、重混和融合,也可直接由文本生成全新内容。
推荐理由:OpenAI 官方公布 Sora 的可用入口与生成规格,读者可据此了解视频生成能力与使用方式。
OpenAI 发布 Sora 系统卡,介绍这是其视频生成模型,可接收文本、图像和视频输入并生成新视频。Sora 基于 DALL-E 和 GPT 系列模型的经验构建,定位是为用户提供更丰富的叙事与创意表达工具。
推荐理由:OpenAI 官方系统卡披露 Sora 的输入输出形态与技术来源,可据此了解其能力边界。
OpenAI 宣布微调 API 新增视觉能力,开发者现在可以用图像和文本微调 GPT-4o,以提升视觉表现。
推荐理由:OpenAI 把图像纳入微调 API,开发者可据此判断视觉任务能否从通用模型转向自有数据定制。
微软发布了 Florence-2 视觉语言模型的微调方法,该模型在图像生成和视频领域具有先进性。
推荐理由:介绍了微软最新的视觉语言模型 Florence-2 的微调方法,对图像生成和视频领域的研究者有参考价值。
OpenAI 宣布推出新旗舰模型 GPT-4 Omni(GPT-4o),可在音频、视觉和文本之间进行实时推理。
推荐理由:OpenAI 官方发布新旗舰模型,读者可据此了解其在音频、视觉与文本上的实时推理定位。
OpenAI 发布 GPT-4o,并让 ChatGPT 的更多能力向免费用户开放。
推荐理由:OpenAI 发布 GPT-4o,并让 ChatGPT 的更多能力向免费用户开放,可据此了解其模型与免费策略的同步变化。
OpenAI 发布最新旗舰模型 GPT-4o,同时把更多能力开放给 ChatGPT 免费用户。
推荐理由:OpenAI 发布新旗舰模型 GPT-4o,并首次把更多能力开放给 ChatGPT 免费用户。
OpenAI 公开视频生成模型 Sora,在可变时长、分辨率和宽高比的视频与图像上联合训练文本条件扩散模型,采用作用于视频和图像 latent code 时空 patch 的 Transformer 架构。其最大模型 Sora 可生成一分钟高保真视频,研究结果提示规模化视频生成模型是构建通用物理世界模拟器的一条可行路径。
推荐理由:OpenAI 首次公开视频生成模型 Sora 的技术思路,读者可了解时空 patch 训练与规模化模拟物理世界的路径。
OpenAI 宣布 ChatGPT 新增看、听、说能力,可处理图像与语音输入并语音回复。
OpenAI 发布 GPT-4V(ision) 系统卡,介绍该多模态模型在安全与部署方面的评估情况。
OpenAI 发布 GPT-4,称其为扩展深度学习的最新里程碑。GPT-4 是一个大型多模态模型,接受图像和文本输入、输出文本,在多项专业和学术基准上达到人类水平表现,但在许多真实场景中能力仍不及人类。
推荐理由:OpenAI 官方给出 GPT-4 的多模态输入形态与基准表现,可据此了解这一代模型的能力边界。
OpenAI 发布 GPT-4,官方介绍其可在创意与技术写作任务中与用户生成、编辑和迭代内容,例如创作歌曲、撰写剧本,或学习用户的写作风格。
推荐理由:OpenAI 官方发布 GPT-4,摘要点出其在创意与技术写作任务上的生成、编辑与迭代能力。
OpenAI 发布 Point-E,一个可根据复杂提示词生成 3D 点云的系统。
OpenAI 在 CLIP 中发现了一类多模态神经元,无论概念以字面、符号还是概念化形式呈现,它们都会对同一概念产生响应。这可能解释 CLIP 在分类出人意料的视觉变体时的准确表现,也是理解 CLIP 及类似模型所学关联与偏置的重要一步。
推荐理由:OpenAI 公开 CLIP 中跨字面、符号与概念形式响应同一概念的多模态神经元,为理解其分类准确性与习得偏置提供线索。
OpenAI 训练了一个名为 DALL·E 的神经网络,可根据自然语言描述生成图像,覆盖自然语言可表达的广泛概念。
推荐理由:OpenAI 官方公布 DALL·E 这一从文本生成图像的神经网络,可据此了解文生图方向的早期起点。
OpenAI 发布名为 CLIP 的神经网络,通过自然语言监督高效学习视觉概念。CLIP 只需提供待识别视觉类别的名称,即可应用于任意视觉分类基准,类似 GPT-2 和 GPT-3 的零样本能力。
推荐理由:OpenAI 介绍 CLIP 用自然语言监督学习视觉概念,读者可了解零样本图像分类的思路来源。
OpenAI 推出 Jukebox,一个能生成音乐原始音频的神经网络,涵盖多种曲风和艺术家风格,并包含初步的歌唱声。OpenAI 同时公开了模型权重和代码,以及一个用于探索生成样本的工具。
推荐理由:OpenAI 公开 Jukebox 的模型权重与代码,读者可了解这套生成原始音频的神经网络能产出哪些风格的音乐。
OpenAI 推出 OpenAI Microscope,这是一个可视化集合,涵盖八个视觉“模式生物”模型的每个重要层和神经元,这些模型常用于可解释性研究。Microscope 让分析这些神经网络内部形成的特征更容易,OpenAI 希望它能帮助研究社区理解这些复杂系统。
推荐理由:OpenAI 公开八个视觉模型各层与神经元的可视化集合,为可解释性研究提供统一观察入口。