跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

113条精选相关主题图像生成AI 视频语音与音频

最新精选

第 1–20 条 · 共 113 条
今天11月2日周一
  1. InfoQ中文70

    Yann LeCun 发新论文挑战 Scaling Law:1.09 亿参数胜过 720 亿,模型越大不一定越懂世界

    Yann LeCun 与其合作者提出了一种新的跨模态表征对齐方法,通过实验证明了一个仅有 1.09 亿参数的文本模型在跨模态表征对齐测试中超过了包括 Qwen2.5-72B、Llama-3-70B 在内的大型语言模型。

    推荐理由:LeCun 的论文挑战了 AI 行业中模型规模与理解能力的关系,提出了新的跨模态表征对齐方法,对 AI 理论研究有重要意义。

10月30日周五
  1. IT之家85

    谷歌发布睡眠框架:让 AI 学会‘睡觉’,持续学习不忘旧知识

    谷歌研究团队发布名为‘睡眠框架’的持续学习研究成果,旨在解决大语言模型的知识固化问题。该框架借鉴人类睡眠机制,通过模拟‘清醒阶段’和‘睡眠阶段’进行记忆巩固和自我改进,实验显示在多个任务中优于基线方法。

    推荐理由:谷歌提出的睡眠框架旨在解决大语言模型的知识固化问题,通过模拟人类睡眠机制进行记忆巩固和自我改进,对持续学习领域有重要意义。

10月29日周四
  1. InfoQ中文85

    谷歌发布 Gemini 4 Carbon:大模型新标杆,但普通开发者暂时无法使用

    谷歌发布新一代大模型 Gemini 4 Carbon,在多个领域性能提升,包括编程、长程智能体任务和网络安全。目前仅向部分网络安全专家开放,后续逐步扩大访问范围。

    推荐理由:谷歌发布了新一代大模型 Gemini 4 Carbon,在多个领域性能提升,但普通开发者暂时无法使用,引发对 AI 模型实际应用和成本效益的思考。

  2. IT之家85

    英伟达开源最强转录 AI 模型 Nemotron 3.5 Transcribe:支持 40 种语言,8 人抢话也能精准转录

    英伟达推出开放权重语音转录模型 Nemotron 3.5 Transcribe,支持 40 种语言转录,最多可区分 8 名说话人,已在 Hugging Face 与 ModelScope 免费开放。

    推荐理由:英伟达开源了 Nemotron 3.5 Transcribe 模型,支持多语言转录和说话人识别,对多场景应用有重要意义。

10月28日周三
10月26日周一
10月23日周五
  1. Show HN70

    如何加速 VLA 训练:Pi0.5 训练加速详解

    本文详细介绍了如何通过多种优化方法加速 Pi0.5 模型的训练,包括内存优化、编译优化和注意力机制优化,最终实现了 3 倍的训练加速。

    推荐理由:文章详细介绍了如何通过多种优化方法加速 Pi0.5 模型的训练,包括内存优化、编译优化和注意力机制优化,对于需要训练类似模型的读者具有参考价值。

10月17日周六
10月16日周五
  1. Show HN65

    StarSkirmish Bench v0.2 评测:大型语言模型在 StarCraft 游戏中的表现

    StarSkirmish Bench v0.2 评测了多个大型语言模型在 StarCraft 游戏中的表现,GPT-6 Astra 表现最佳,Gemini 4 Argon 和 Claude Opus 5.5 紧随其后。

    推荐理由:StarSkirmish Bench v0.2 对比了多个大型语言模型在 StarCraft 游戏中的表现,为读者提供了关于不同模型在复杂任务中表现的数据和见解。

  2. 爱范儿65

    英伟达RTX Spark笔记本发布,AI本地部署新选择

    英伟达RTX Spark笔记本搭载ARM CPU、Blackwell RTX GPU和统一内存,支持运行大型AI模型,为AI本地部署提供了新的可能性。

    推荐理由:英伟达RTX Spark笔记本的发布,标志着英伟达在Windows PC核心硬件平台的进入,为AI本地部署提供了新的可能性,对创作者和开发者来说是一个值得关注的事件。

  3. 量子位85

    优必选 Thinker-WM:多模态统一表征,单模型实现六大能力

    优必选 Thinker-WM 在三大基准评测中全部拿下第一名,刷新行业成绩。该模型通过多模态统一表征技术,实现了视频-动作联合生成、世界预测、策略推理等六大能力。

    推荐理由:Thinker-WM 在三大基准评测中取得优异成绩,其多模态统一表征技术为具身智能领域带来突破性进展。

  4. Latent Space70

    AI模型和工具更新:Muse Spark Open、Nemotron 3.5、MAI-Base-2、Gemini 4 Argon等发布

    Muse Spark Open发布,具有816B总参数、42B活跃参数、1M上下文窗口,支持多模态输入;Nemotron 3.5 Super VL是一个120B/12B活跃的混合Mamba-Transformer MoE VLM;MAI-Base-2是一个大约3T参数的预训练基础模型;Gemini 4 Argon在Antigravity中推出。

    推荐理由:原文介绍了多个AI模型和工具的更新和发布,包括Muse Spark Open、Nemotron 3.5、MAI-Base-2、Gemini 4 Argon等,读者可以了解这些新工具的能力和特点,以及它们对AI领域的影响。

  5. IT之家65

    苹果与Meta合作:Mac Studio本地运行“美国最强开源AI模型”Muse Spark Open

    Meta 和苹果公司合作,在两台 Mac Studio 上本地运行 Muse Spark Open 模型,该模型参数量达 8160 亿,面向复杂工作场景。合作标志着两家公司在 AI 领域的罕见合作,对 AI 工具的可用性和性能有重要影响。

    推荐理由:Meta 和苹果公司合作,在 Mac Studio 上本地运行 Muse Spark Open 模型,标志着两家公司在 AI 领域的罕见合作,对 AI 工具的可用性和性能有重要影响。

10月12日周一
  1. 量子位85

    何恺明团队发布多模态Harness框架VISTA:视觉原生推理新框架

    何恺明团队提出的VISTA框架,通过保存和利用视觉信息,显著提升了多模态模型在交互式视觉推理任务中的表现,为Agent能力的发展提供了新的思路。

    推荐理由:VISTA框架通过保存和利用视觉信息,显著提升了多模态模型在交互式视觉推理任务中的表现,为Agent能力的发展提供了新的思路。

10月11日周日
10月8日周四
  1. 量子位58

    生数科技开放 Vidu Q4 预览版:720P 约 0.6 元/秒,最高 4K 直出

    生数科技开放新一代视频生成旗舰模型 Vidu Q4 预览版,主打传神表现力,先放出人物演绎、镜头语言和视效场面三项能力,最高支持 4K 直出,单条最长 16 秒,一次最多可用 15 张参考图和 3 段参考音频。

    推荐理由:作者实测了 Vidu Q4 预览版的演技、镜头与特效表现,并给出 MaaS 与 SaaS 两端的计价方式,便于创作者估算成本。

  2. IT之家58

    PFN 发布 PLaMo 3 Translate 31B 翻译模型,日语表现优于 GPT-6.1 Sol

    日本企业 Preferred Networks(PFN)发布翻译模型 PLaMo 3 Translate 31B,基于 PLaMo 3 基础模型,训练数据中日语占比约 30%,支持语言从上代的日语、英语 2 种扩展至 53 种,并引入覆盖 15 种语言的在线会议翻译模式。

    推荐理由:日本团队自研翻译模型把支持语言从 2 种扩到 53 种,并给出与 GPT-6.1 Sol 的基准对比和成本数字。

  3. 开源中国68

    Mistral 发布 Mistral Large 4:1 万亿参数、原生多模态

    Mistral 发布其史上最大模型 Mistral Large 4,代号 Le Chonk,为从零训练的原生多模态模型,1 万亿参数、520 亿稀疏激活。该模型即日起在 Mistral Studio 开放公开预览,权重将于月底发布。

    推荐理由:原文给出模型规模、稀疏激活与多模态三项关键参数,读者可据此判断其与同代大模型的定位差异。

  4. 量子位62

    何恺明团队提出NAT-ARC:用ImageNet猫狗图预训练解ARC抽象推理

    何恺明团队提出纯视觉ARC解题方案NAT-ARC,在VARC流程前插入ImageNet MAE预训练,不依赖LLM。表现最好的单模型为0.6B的huge尺度,ARC-1上pass@2达63.4±0.7%,集成后达70.2±0.6%,总参数量约2B。

    推荐理由:论文用ImageNet预训练打通视觉路线在ARC上的scaling瓶颈,并给出注意力可视化与任务拆解证据。