跳到正文

#多模态

今日 0 条
11月2日周一
  1. InfoQ中文70

    Yann LeCun 发新论文挑战 Scaling Law:1.09 亿参数胜过 720 亿,模型越大不一定越懂世界

    Yann LeCun 与其合作者提出了一种新的跨模态表征对齐方法,通过实验证明了一个仅有 1.09 亿参数的文本模型在跨模态表征对齐测试中超过了包括 Qwen2.5-72B、Llama-3-70B 在内的大型语言模型。

    推荐理由:LeCun 的论文挑战了 AI 行业中模型规模与理解能力的关系,提出了新的跨模态表征对齐方法,对 AI 理论研究有重要意义。

10月30日周五
  1. IT之家85

    谷歌发布睡眠框架:让 AI 学会‘睡觉’,持续学习不忘旧知识

    谷歌研究团队发布名为‘睡眠框架’的持续学习研究成果,旨在解决大语言模型的知识固化问题。该框架借鉴人类睡眠机制,通过模拟‘清醒阶段’和‘睡眠阶段’进行记忆巩固和自我改进,实验显示在多个任务中优于基线方法。

    推荐理由:谷歌提出的睡眠框架旨在解决大语言模型的知识固化问题,通过模拟人类睡眠机制进行记忆巩固和自我改进,对持续学习领域有重要意义。

10月29日周四
  1. InfoQ中文85

    谷歌发布 Gemini 4 Carbon:大模型新标杆,但普通开发者暂时无法使用

    谷歌发布新一代大模型 Gemini 4 Carbon,在多个领域性能提升,包括编程、长程智能体任务和网络安全。目前仅向部分网络安全专家开放,后续逐步扩大访问范围。

    推荐理由:谷歌发布了新一代大模型 Gemini 4 Carbon,在多个领域性能提升,但普通开发者暂时无法使用,引发对 AI 模型实际应用和成本效益的思考。

  2. IT之家85

    英伟达开源最强转录 AI 模型 Nemotron 3.5 Transcribe:支持 40 种语言,8 人抢话也能精准转录

    英伟达推出开放权重语音转录模型 Nemotron 3.5 Transcribe,支持 40 种语言转录,最多可区分 8 名说话人,已在 Hugging Face 与 ModelScope 免费开放。

    推荐理由:英伟达开源了 Nemotron 3.5 Transcribe 模型,支持多语言转录和说话人识别,对多场景应用有重要意义。

10月28日周三
10月26日周一
10月23日周五
  1. Show HN70

    如何加速 VLA 训练:Pi0.5 训练加速详解

    本文详细介绍了如何通过多种优化方法加速 Pi0.5 模型的训练,包括内存优化、编译优化和注意力机制优化,最终实现了 3 倍的训练加速。

    推荐理由:文章详细介绍了如何通过多种优化方法加速 Pi0.5 模型的训练,包括内存优化、编译优化和注意力机制优化,对于需要训练类似模型的读者具有参考价值。

10月17日周六
10月16日周五
  1. Show HN65

    StarSkirmish Bench v0.2 评测:大型语言模型在 StarCraft 游戏中的表现

    StarSkirmish Bench v0.2 评测了多个大型语言模型在 StarCraft 游戏中的表现,GPT-6 Astra 表现最佳,Gemini 4 Argon 和 Claude Opus 5.5 紧随其后。

    推荐理由:StarSkirmish Bench v0.2 对比了多个大型语言模型在 StarCraft 游戏中的表现,为读者提供了关于不同模型在复杂任务中表现的数据和见解。

  2. 爱范儿65

    英伟达RTX Spark笔记本发布,AI本地部署新选择

    英伟达RTX Spark笔记本搭载ARM CPU、Blackwell RTX GPU和统一内存,支持运行大型AI模型,为AI本地部署提供了新的可能性。

    推荐理由:英伟达RTX Spark笔记本的发布,标志着英伟达在Windows PC核心硬件平台的进入,为AI本地部署提供了新的可能性,对创作者和开发者来说是一个值得关注的事件。

  3. 量子位85

    优必选 Thinker-WM:多模态统一表征,单模型实现六大能力

    优必选 Thinker-WM 在三大基准评测中全部拿下第一名,刷新行业成绩。该模型通过多模态统一表征技术,实现了视频-动作联合生成、世界预测、策略推理等六大能力。

    推荐理由:Thinker-WM 在三大基准评测中取得优异成绩,其多模态统一表征技术为具身智能领域带来突破性进展。

  4. Latent Space70

    AI模型和工具更新:Muse Spark Open、Nemotron 3.5、MAI-Base-2、Gemini 4 Argon等发布

    Muse Spark Open发布,具有816B总参数、42B活跃参数、1M上下文窗口,支持多模态输入;Nemotron 3.5 Super VL是一个120B/12B活跃的混合Mamba-Transformer MoE VLM;MAI-Base-2是一个大约3T参数的预训练基础模型;Gemini 4 Argon在Antigravity中推出。

    推荐理由:原文介绍了多个AI模型和工具的更新和发布,包括Muse Spark Open、Nemotron 3.5、MAI-Base-2、Gemini 4 Argon等,读者可以了解这些新工具的能力和特点,以及它们对AI领域的影响。

  5. IT之家65

    苹果与Meta合作:Mac Studio本地运行“美国最强开源AI模型”Muse Spark Open

    Meta 和苹果公司合作,在两台 Mac Studio 上本地运行 Muse Spark Open 模型,该模型参数量达 8160 亿,面向复杂工作场景。合作标志着两家公司在 AI 领域的罕见合作,对 AI 工具的可用性和性能有重要影响。

    推荐理由:Meta 和苹果公司合作,在 Mac Studio 上本地运行 Muse Spark Open 模型,标志着两家公司在 AI 领域的罕见合作,对 AI 工具的可用性和性能有重要影响。

10月12日周一
  1. 量子位85

    何恺明团队发布多模态Harness框架VISTA:视觉原生推理新框架

    何恺明团队提出的VISTA框架,通过保存和利用视觉信息,显著提升了多模态模型在交互式视觉推理任务中的表现,为Agent能力的发展提供了新的思路。

    推荐理由:VISTA框架通过保存和利用视觉信息,显著提升了多模态模型在交互式视觉推理任务中的表现,为Agent能力的发展提供了新的思路。

10月11日周日
10月8日周四
  1. 量子位58

    生数科技开放 Vidu Q4 预览版:720P 约 0.6 元/秒,最高 4K 直出

    生数科技开放新一代视频生成旗舰模型 Vidu Q4 预览版,主打传神表现力,先放出人物演绎、镜头语言和视效场面三项能力,最高支持 4K 直出,单条最长 16 秒,一次最多可用 15 张参考图和 3 段参考音频。

    推荐理由:作者实测了 Vidu Q4 预览版的演技、镜头与特效表现,并给出 MaaS 与 SaaS 两端的计价方式,便于创作者估算成本。

  2. 爱范儿38

    Vidu Q4 Preview 体验:0.09 元/秒起,主打人物演技与复杂特效

    生数科技开放视频生成模型 Vidu Q4 Preview,定位「高表现力旗舰模型」,主打人物演技、镜头张力和复杂特效,试拍 0.09 元/秒起。该预览版参考生视频支持最多 15 张参考图、3 段参考音频及 2K、4K 超清输出,可在 Vidu 官网体验。实测中人物表情反应与运镜稳定性表现突出,但节奏自然度和画面风格控制仍有待优化。

  3. IT之家58

    PFN 发布 PLaMo 3 Translate 31B 翻译模型,日语表现优于 GPT-6.1 Sol

    日本企业 Preferred Networks(PFN)发布翻译模型 PLaMo 3 Translate 31B,基于 PLaMo 3 基础模型,训练数据中日语占比约 30%,支持语言从上代的日语、英语 2 种扩展至 53 种,并引入覆盖 15 种语言的在线会议翻译模式。

    推荐理由:日本团队自研翻译模型把支持语言从 2 种扩到 53 种,并给出与 GPT-6.1 Sol 的基准对比和成本数字。

  4. 开源中国68

    Mistral 发布 Mistral Large 4:1 万亿参数、原生多模态

    Mistral 发布其史上最大模型 Mistral Large 4,代号 Le Chonk,为从零训练的原生多模态模型,1 万亿参数、520 亿稀疏激活。该模型即日起在 Mistral Studio 开放公开预览,权重将于月底发布。

    推荐理由:原文给出模型规模、稀疏激活与多模态三项关键参数,读者可据此判断其与同代大模型的定位差异。

  5. 量子位62

    何恺明团队提出NAT-ARC:用ImageNet猫狗图预训练解ARC抽象推理

    何恺明团队提出纯视觉ARC解题方案NAT-ARC,在VARC流程前插入ImageNet MAE预训练,不依赖LLM。表现最好的单模型为0.6B的huge尺度,ARC-1上pass@2达63.4±0.7%,集成后达70.2±0.6%,总参数量约2B。

    推荐理由:论文用ImageNet预训练打通视觉路线在ARC上的scaling瓶颈,并给出注意力可视化与任务拆解证据。

  6. TechCrunch · AI71

    OpenAI 随 GPT-6 推出 Intelligent UI,ChatGPT 界面转向可视化交互

    OpenAI 推出名为 Intelligent UI 的新界面,随新 GPT-6 模型于周三开始推送,在对话中大量加入可交互的图表、按钮、定制计算器和可编辑图形等视觉元素。

    推荐理由:OpenAI 随 GPT-6 推出可交互的 Intelligent UI,读者可了解 ChatGPT 界面从纯文本转向可视化交互的具体形态与开放节奏。

  7. The Decoder62

    Google 开放 SynthID 检测器,称已有 1800 亿图片和视频带水印

    Google 将 SynthID Detector 开放给公众,任何人都可以检测图片、视频或音频是否由 Google 及其合作方的 AI 生成。该工具可识别 Gemini、Veo、Lyria 等模型嵌入的隐形水印,支持 JPG、PNG、MP4 和 MP3 格式。

    推荐理由:SynthID 检测器开放公众使用,读者可了解水印检测的适用范围与它只识别自家水印的边界。

10月7日周三
  1. IT之家62

    谷歌 SynthID 检测网站面向全球用户开放

    谷歌宣布其 AI 生成内容检测网站 SynthID 已面向全球用户开放,用户可检测图片、视频或音频是否由 AI 生成。SynthID 是谷歌 2023 年推出的隐形水印,嵌入在 Nano Banana、Veo 和 Lyria 模型中,OpenAI、英伟达和 Kakao 也支持该工具。

    推荐理由:SynthID 从模型内置水印扩展为面向全球用户的独立检测入口,可了解 AI 内容溯源的实际可用范围。

  2. Ars Technica · AI58

    Google 推出改进版 SynthID AI 内容检测器,面向全球开放

    Google 宣布其 SynthID 检测器现已支持所有合作方嵌入的水印,并上线独立网站 SynthID.com 供任何人使用。此前非 Google 信任测试者只能通过询问 Gemini 来检测水印,且检测器只识别 Google 自家的 SynthID,ChatGPT 等合作方生成内容即使带有 SynthID 也不会被标记。

    推荐理由:SynthID 检测器从仅支持 Google 自家水印扩展到全部合作方,并开放独立网站,读者可据此判断 AI 内容溯源的实际可用性。

  3. TechCrunch · AI62

    Google 上线 SynthID 检测网站,向所有人开放 AI 生成媒体识别

    Google 周二上线新网站,任何人都可以检测图片、视频或音频是否由 AI 生成。该工具此前在 Google I/O 上仅向部分记者、媒体从业者和研究人员开放测试,现已全面开放,支持 JPG、PNG、MP4、MOV、WAV、MP3 等图片、视频和音频格式。

    推荐理由:SynthID 检测站点从限量测试开放给所有人,并列出支持的图片、视频、音频格式与接入方。

  4. IT之家62

    谷歌推出 macOS 应用 AI Edge Foresight,支持离线记录会议纪要

    谷歌推出全新 macOS 应用 AI Edge Foresight,向苹果用户展示 EmbeddingGemma 2 端侧多模态模型的实力。该应用调用 Mac 麦克风和系统音频,结合用户笔记整理线上、线下会议纪要,并支持基于会议内容和其他知识库的实时问答,可完全离线运行。应用兼容 Apple 芯片的 Mac,用户可免费下载。

    推荐理由:谷歌用一款免费 macOS 应用展示 EmbeddingGemma 2 的端侧多模态能力,可据此判断离线会议纪要的可用形态。

  5. Show HN38

    Show HN:EasyToSTL 将 2D 图像和文本转为水密可打印 STL

    EasyToSTL 在 Show HN 上线,可将 JPG、PNG、WebP 图像及文本提示词生成水密、可直接打印的 STL 模型,支持 GLB、OBJ 导出,兼容 Bambu Studio、Cura、PrusaSlicer 等切片软件。Pro 模式最高支持 150 万三角面并带毫米级尺寸校准,注册即送免费额度、无需信用卡,基础格式转换和在线 3D 预览完全免费。

  6. IT之家78

    谷歌推出 EmbeddingGemma 2:支持多模态,7.4 亿参数量化后手机端运行约需 191MB 内存

    谷歌正式推出 EmbeddingGemma 2,将嵌入能力从文本扩展到代码、图像、视频和音频,并统一映射到同一嵌入空间。该模型基于 Gemma 4 架构,采用 Apache 2.0 许可,总参数 7.4 亿,纯文本任务仅需 2.7 亿参数,可叠加 1.7 亿参数视觉编码器和 3 亿参数音频编码器。

    推荐理由:EmbeddingGemma 2 把嵌入能力从文本扩展到代码、图像、视频和音频,并给出端侧量化内存占用,便于判断本地多模态检索的可行性。

  7. Google DeepMind78

    Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,这是面向端侧的多模态嵌入模型,原生将文本、图像、音频和视频映射到统一嵌入空间,基于 Gemma 4 架构、Apache 2.0 许可,参数量 740M。

    推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一到同一嵌入空间,并给出端侧内存与向量截断的具体数据,便于评估本地多模态检索的可行性。

  8. The Decoder71

    Google 发布 EmbeddingGemma 2,称性能超越两倍规模竞品

    Google 发布开源模型 EmbeddingGemma 2,可将文本、图像、视频、音频和代码转换为数值向量,参数量 7.4 亿,Google 称其是同类型中最紧凑的模型,在多模态嵌入基准上超越规模达其两倍的竞品。

    推荐理由:读者可据此了解一款 740M 参数多模态嵌入模型在本地运行、离线 RAG 场景下的能力与资源占用。