跳到正文

#多模态

今日 0 条
10月30日周五
  1. IT之家85

    谷歌发布睡眠框架:让 AI 学会‘睡觉’,持续学习不忘旧知识

    谷歌研究团队发布名为‘睡眠框架’的持续学习研究成果,旨在解决大语言模型的知识固化问题。该框架借鉴人类睡眠机制,通过模拟‘清醒阶段’和‘睡眠阶段’进行记忆巩固和自我改进,实验显示在多个任务中优于基线方法。

    推荐理由:谷歌提出的睡眠框架旨在解决大语言模型的知识固化问题,通过模拟人类睡眠机制进行记忆巩固和自我改进,对持续学习领域有重要意义。

10月29日周四
  1. InfoQ中文85

    谷歌发布 Gemini 4 Carbon:大模型新标杆,但普通开发者暂时无法使用

    谷歌发布新一代大模型 Gemini 4 Carbon,在多个领域性能提升,包括编程、长程智能体任务和网络安全。目前仅向部分网络安全专家开放,后续逐步扩大访问范围。

    推荐理由:谷歌发布了新一代大模型 Gemini 4 Carbon,在多个领域性能提升,但普通开发者暂时无法使用,引发对 AI 模型实际应用和成本效益的思考。

  2. IT之家85

    英伟达开源最强转录 AI 模型 Nemotron 3.5 Transcribe:支持 40 种语言,8 人抢话也能精准转录

    英伟达推出开放权重语音转录模型 Nemotron 3.5 Transcribe,支持 40 种语言转录,最多可区分 8 名说话人,已在 Hugging Face 与 ModelScope 免费开放。

    推荐理由:英伟达开源了 Nemotron 3.5 Transcribe 模型,支持多语言转录和说话人识别,对多场景应用有重要意义。

10月28日周三
10月26日周一
10月17日周六
10月16日周五
  1. Show HN65

    StarSkirmish Bench v0.2 评测:大型语言模型在 StarCraft 游戏中的表现

    StarSkirmish Bench v0.2 评测了多个大型语言模型在 StarCraft 游戏中的表现,GPT-6 Astra 表现最佳,Gemini 4 Argon 和 Claude Opus 5.5 紧随其后。

    推荐理由:StarSkirmish Bench v0.2 对比了多个大型语言模型在 StarCraft 游戏中的表现,为读者提供了关于不同模型在复杂任务中表现的数据和见解。

  2. 量子位85

    优必选 Thinker-WM:多模态统一表征,单模型实现六大能力

    优必选 Thinker-WM 在三大基准评测中全部拿下第一名,刷新行业成绩。该模型通过多模态统一表征技术,实现了视频-动作联合生成、世界预测、策略推理等六大能力。

    推荐理由:Thinker-WM 在三大基准评测中取得优异成绩,其多模态统一表征技术为具身智能领域带来突破性进展。

  3. Latent Space70

    AI模型和工具更新:Muse Spark Open、Nemotron 3.5、MAI-Base-2、Gemini 4 Argon等发布

    Muse Spark Open发布,具有816B总参数、42B活跃参数、1M上下文窗口,支持多模态输入;Nemotron 3.5 Super VL是一个120B/12B活跃的混合Mamba-Transformer MoE VLM;MAI-Base-2是一个大约3T参数的预训练基础模型;Gemini 4 Argon在Antigravity中推出。

    推荐理由:原文介绍了多个AI模型和工具的更新和发布,包括Muse Spark Open、Nemotron 3.5、MAI-Base-2、Gemini 4 Argon等,读者可以了解这些新工具的能力和特点,以及它们对AI领域的影响。

  4. IT之家65

    苹果与Meta合作:Mac Studio本地运行“美国最强开源AI模型”Muse Spark Open

    Meta 和苹果公司合作,在两台 Mac Studio 上本地运行 Muse Spark Open 模型,该模型参数量达 8160 亿,面向复杂工作场景。合作标志着两家公司在 AI 领域的罕见合作,对 AI 工具的可用性和性能有重要影响。

    推荐理由:Meta 和苹果公司合作,在 Mac Studio 上本地运行 Muse Spark Open 模型,标志着两家公司在 AI 领域的罕见合作,对 AI 工具的可用性和性能有重要影响。

10月8日周四
  1. IT之家58

    PFN 发布 PLaMo 3 Translate 31B 翻译模型,日语表现优于 GPT-6.1 Sol

    日本企业 Preferred Networks(PFN)发布翻译模型 PLaMo 3 Translate 31B,基于 PLaMo 3 基础模型,训练数据中日语占比约 30%,支持语言从上代的日语、英语 2 种扩展至 53 种,并引入覆盖 15 种语言的在线会议翻译模式。

    推荐理由:日本团队自研翻译模型把支持语言从 2 种扩到 53 种,并给出与 GPT-6.1 Sol 的基准对比和成本数字。

  2. 开源中国68

    Mistral 发布 Mistral Large 4:1 万亿参数、原生多模态

    Mistral 发布其史上最大模型 Mistral Large 4,代号 Le Chonk,为从零训练的原生多模态模型,1 万亿参数、520 亿稀疏激活。该模型即日起在 Mistral Studio 开放公开预览,权重将于月底发布。

    推荐理由:原文给出模型规模、稀疏激活与多模态三项关键参数,读者可据此判断其与同代大模型的定位差异。

10月7日周三
  1. IT之家78

    谷歌推出 EmbeddingGemma 2:支持多模态,7.4 亿参数量化后手机端运行约需 191MB 内存

    谷歌正式推出 EmbeddingGemma 2,将嵌入能力从文本扩展到代码、图像、视频和音频,并统一映射到同一嵌入空间。该模型基于 Gemma 4 架构,采用 Apache 2.0 许可,总参数 7.4 亿,纯文本任务仅需 2.7 亿参数,可叠加 1.7 亿参数视觉编码器和 3 亿参数音频编码器。

    推荐理由:EmbeddingGemma 2 把嵌入能力从文本扩展到代码、图像、视频和音频,并给出端侧量化内存占用,便于判断本地多模态检索的可行性。

  2. Google DeepMind78

    Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,这是面向端侧的多模态嵌入模型,原生将文本、图像、音频和视频映射到统一嵌入空间,基于 Gemma 4 架构、Apache 2.0 许可,参数量 740M。

    推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一到同一嵌入空间,并给出端侧内存与向量截断的具体数据,便于评估本地多模态检索的可行性。

  3. The Decoder71

    Google 发布 EmbeddingGemma 2,称性能超越两倍规模竞品

    Google 发布开源模型 EmbeddingGemma 2,可将文本、图像、视频、音频和代码转换为数值向量,参数量 7.4 亿,Google 称其是同类型中最紧凑的模型,在多模态嵌入基准上超越规模达其两倍的竞品。

    推荐理由:读者可据此了解一款 740M 参数多模态嵌入模型在本地运行、离线 RAG 场景下的能力与资源占用。

10月6日周二
  1. TechCrunch · AI71

    Mistral 发布 1T 参数多模态模型 Mistral Large 4

    法国 AI 实验室 Mistral AI 发布 Mistral Large 4(ML4),一款 1 万亿参数的大型多模态模型,昵称 Le Chonk,目前仅通过带护栏的公开端点访问,计划在安全测试完成后三周内开放权重。

    推荐理由:Mistral 以 1T 参数多模态模型切入开源与闭源之间的第三条路线,读者可了解其算力投入与开放节奏。

  2. Show HN78

    Vev 开源决策模型发布:对截图提问并返回每个答案的概率

    Vev 发布 v0.1 研究预览版,这是一个类似 Jev 的决策模型,可对文本、JSON 记录或截图提出是/否、多选或分级问题,并在约 40 ms 内返回每个允许答案的概率,不生成文本。

    推荐理由:开源决策模型给出逐选项概率而非生成文本,读者可据此判断它在截图判定类任务上的可用边界。

  3. The Decoder74

    Reka AI 发布 19B 全能模型 Rho-1,统一处理文本、图像、视频与机器人控制

    Reka AI 发布研究预览版 Rho-1,这是一个 190 亿参数的全能模型,在单一神经网络中处理并生成文本、图像、视频和机器人控制动作。与多数把任务分派给专用模型的系统不同,Rho-1 将所有模态作为 token 放在同一个共享上下文窗口中运行,不调用工具或外部模型。

    推荐理由:Rho-1 把文本、图像、视频与机器人控制放进同一套权重,读者可据此了解多模态统一建模的一种新路径。

10月4日周日
10月3日周六
10月2日周五
  1. The Decoder71

    Black Forest Labs 发布 Flux 3 Image,支持多步编辑

    Black Forest Labs 发布 Flux 3 模型家族的图像部分 Flux 3 Image,官方称其支持多步编辑且不改变画面其他部分,覆盖文生图、图生图、文字渲染和照片级真实感。用户可用边界框构图、最多引入十张参考图、输出最高 4K,免费 demo 已开放,API 在 10 月 8 日前五折。企业可授权商业权重在自有基础设施上运行和微调,开放权重版本预计未来几周推出。

  2. 爱范儿62

    和 Opus 5.5 同题交卷,MiniMax M3.1 Flash 的前端创作实测

    爱范儿用 Opus 5.5 公开案例的提示词在 MiniMax Code 中实测 MiniMax M3.1 Flash Preview,覆盖动态作品集、手绘短片、水墨动画、纽约天际线时间轴交互以及卡丁车和水下探索等游戏原型。

    推荐理由:作者用同一批公开提示词对比 MiniMax M3.1 Flash 与 Opus 5.5 的前端创作成品,可观察 Flash 级模型在动效、手绘与交互场景中的实际完成度。

9月29日周二
  1. Microsoft Research62

    微软研究院推出 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院推出 Quine,一个面向生物学复杂性的 AI 研究系统,由生物世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并优先排序数千种化合物,最高排名化合物在湿实验中产生了最大的经典态向基底态转变,从缩小搜索空间到选出候选验证仅用一个周末。

    推荐理由:微软研究院公开 Quine 的生物世界模型与实验闭环,并给出胰腺癌化合物筛选的湿实验验证结果。

  2. 爱范儿78

    爱范儿实测神秘模型 Space Bunny:涂鸦生成网站,疑似 MiniMax 出品

    爱范儿实测了近期在海外 AI 圈刷屏的匿名模型 Space Bunny Alpha,它能把随手画的草图在不到 5 分钟内变成可打开的网站,也能根据草图生成可交互的 3D 网页。

    推荐理由:作者用草图转网页、3D 游戏和发动机展台等实测,呈现匿名模型 Space Bunny 的能力边界与日常主力定位。

9月25日周五
  1. Google DeepMind66

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,实现带精确唇形同步、自然表情和流畅轮次的视觉化对话。

    推荐理由:官方给出 Live Avatar 的实时视频对话能力、异步工具调用与 97 种语言同步等具体细节,可据此判断企业级多模态交互的落地形态。

9月22日周二
9月3日周四
  1. Google DeepMind66

    Google DeepMind 发布全球天气 AI 模型 WeatherNext 3

    Google DeepMind 与 Google Research 发布 WeatherNext 3,称其为目前最先进、最准确的全球天气模型,可直接学习实时卫星观测数据,每小时生成一次预报,最高分辨率达 5 公里,整体比上一代 WeatherNext 2 清晰约 5 倍。

    推荐理由:官方给出分辨率、更新频率与降水精度提升幅度,并说明已接入 Search、Gemini、Maps 等产品。

8月28日周五
  1. Google DeepMind65

    Google DeepMind 发布 Gemini Omni 1.1 Flash,强化生成视频控制能力

    Google DeepMind 发布 Gemini Omni 1.1 Flash,为开发者提供场景延展、首尾帧插值、360p 快速草稿和最高 4K 上采样等生成视频控制能力,通过 Gemini API 在 Google AI Studio 提供。

    推荐理由:官方给出场景延展、首尾帧插值与 4K 上采样等具体能力变化,可据此判断生成视频工作流的可控程度。

8月12日周三
  1. Google DeepMind71

    Google DeepMind 发布 SL2T 手语转文字模型,率先落地 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布多语言手语转文字模型 SL2T,首次把手语 AI 带入消费产品,在 Pixel 11 的 Gboard 和 Live Transcribe 中支持美国手语(ASL)转英文听写,后续将扩展更多设备与语言。

    推荐理由:官方给出 SL2T 的训练规模、基准分数与端侧隐私方案,可据此判断手语转文字落地的可行边界。

7月30日周四
  1. Google DeepMind74

    Google DeepMind 发布 Gemini Robotics ER 2 具身推理模型

    Google DeepMind 发布 Gemini Robotics ER 2,作为面向机器人的具身推理模型,可理解物理世界、规划多步任务并调用 Google Search 等工具,现已通过 Gemini API 和 Google AI Studio 向开发者开放,Gemini Enterprise Agent Platform 上处于私密预览。

    推荐理由:官方给出视频理解、任务编排与多机协作的能力变化和开放入口,可据此判断机器人在真实环境中的任务完成方式。

7月28日周二
7月21日周二
7月1日周三
6月9日周二