跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

113条精选相关主题图像生成AI 视频语音与音频

最新精选

第 21–40 条 · 共 113 条
10月8日周四
  1. TechCrunch · AI71

    OpenAI 随 GPT-6 推出 Intelligent UI,ChatGPT 界面转向可视化交互

    OpenAI 推出名为 Intelligent UI 的新界面,随新 GPT-6 模型于周三开始推送,在对话中大量加入可交互的图表、按钮、定制计算器和可编辑图形等视觉元素。

    推荐理由:OpenAI 随 GPT-6 推出可交互的 Intelligent UI,读者可了解 ChatGPT 界面从纯文本转向可视化交互的具体形态与开放节奏。

  2. The Decoder62

    Google 开放 SynthID 检测器,称已有 1800 亿图片和视频带水印

    Google 将 SynthID Detector 开放给公众,任何人都可以检测图片、视频或音频是否由 Google 及其合作方的 AI 生成。该工具可识别 Gemini、Veo、Lyria 等模型嵌入的隐形水印,支持 JPG、PNG、MP4 和 MP3 格式。

    推荐理由:SynthID 检测器开放公众使用,读者可了解水印检测的适用范围与它只识别自家水印的边界。

10月7日周三
  1. IT之家62

    谷歌 SynthID 检测网站面向全球用户开放

    谷歌宣布其 AI 生成内容检测网站 SynthID 已面向全球用户开放,用户可检测图片、视频或音频是否由 AI 生成。SynthID 是谷歌 2023 年推出的隐形水印,嵌入在 Nano Banana、Veo 和 Lyria 模型中,OpenAI、英伟达和 Kakao 也支持该工具。

    推荐理由:SynthID 从模型内置水印扩展为面向全球用户的独立检测入口,可了解 AI 内容溯源的实际可用范围。

  2. Ars Technica · AI58

    Google 推出改进版 SynthID AI 内容检测器,面向全球开放

    Google 宣布其 SynthID 检测器现已支持所有合作方嵌入的水印,并上线独立网站 SynthID.com 供任何人使用。此前非 Google 信任测试者只能通过询问 Gemini 来检测水印,且检测器只识别 Google 自家的 SynthID,ChatGPT 等合作方生成内容即使带有 SynthID 也不会被标记。

    推荐理由:SynthID 检测器从仅支持 Google 自家水印扩展到全部合作方,并开放独立网站,读者可据此判断 AI 内容溯源的实际可用性。

  3. TechCrunch · AI62

    Google 上线 SynthID 检测网站,向所有人开放 AI 生成媒体识别

    Google 周二上线新网站,任何人都可以检测图片、视频或音频是否由 AI 生成。该工具此前在 Google I/O 上仅向部分记者、媒体从业者和研究人员开放测试,现已全面开放,支持 JPG、PNG、MP4、MOV、WAV、MP3 等图片、视频和音频格式。

    推荐理由:SynthID 检测站点从限量测试开放给所有人,并列出支持的图片、视频、音频格式与接入方。

  4. IT之家62

    谷歌推出 macOS 应用 AI Edge Foresight,支持离线记录会议纪要

    谷歌推出全新 macOS 应用 AI Edge Foresight,向苹果用户展示 EmbeddingGemma 2 端侧多模态模型的实力。该应用调用 Mac 麦克风和系统音频,结合用户笔记整理线上、线下会议纪要,并支持基于会议内容和其他知识库的实时问答,可完全离线运行。应用兼容 Apple 芯片的 Mac,用户可免费下载。

    推荐理由:谷歌用一款免费 macOS 应用展示 EmbeddingGemma 2 的端侧多模态能力,可据此判断离线会议纪要的可用形态。

  5. IT之家78

    谷歌推出 EmbeddingGemma 2:支持多模态,7.4 亿参数量化后手机端运行约需 191MB 内存

    谷歌正式推出 EmbeddingGemma 2,将嵌入能力从文本扩展到代码、图像、视频和音频,并统一映射到同一嵌入空间。该模型基于 Gemma 4 架构,采用 Apache 2.0 许可,总参数 7.4 亿,纯文本任务仅需 2.7 亿参数,可叠加 1.7 亿参数视觉编码器和 3 亿参数音频编码器。

    推荐理由:EmbeddingGemma 2 把嵌入能力从文本扩展到代码、图像、视频和音频,并给出端侧量化内存占用,便于判断本地多模态检索的可行性。

  6. Google DeepMind78

    Google DeepMind 发布 EmbeddingGemma 2 开源轻量多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,这是面向端侧的多模态嵌入模型,原生将文本、图像、音频和视频映射到统一嵌入空间,基于 Gemma 4 架构、Apache 2.0 许可,参数量 740M。

    推荐理由:EmbeddingGemma 2 把文本、图像、音频、视频统一到同一嵌入空间,并给出端侧内存与向量截断的具体数据,便于评估本地多模态检索的可行性。

  7. The Decoder71

    Google 发布 EmbeddingGemma 2,称性能超越两倍规模竞品

    Google 发布开源模型 EmbeddingGemma 2,可将文本、图像、视频、音频和代码转换为数值向量,参数量 7.4 亿,Google 称其是同类型中最紧凑的模型,在多模态嵌入基准上超越规模达其两倍的竞品。

    推荐理由:读者可据此了解一款 740M 参数多模态嵌入模型在本地运行、离线 RAG 场景下的能力与资源占用。

10月6日周二
  1. TechCrunch · AI71

    Mistral 发布 1T 参数多模态模型 Mistral Large 4

    法国 AI 实验室 Mistral AI 发布 Mistral Large 4(ML4),一款 1 万亿参数的大型多模态模型,昵称 Le Chonk,目前仅通过带护栏的公开端点访问,计划在安全测试完成后三周内开放权重。

    推荐理由:Mistral 以 1T 参数多模态模型切入开源与闭源之间的第三条路线,读者可了解其算力投入与开放节奏。

  2. Show HN78

    Vev 开源决策模型发布:对截图提问并返回每个答案的概率

    Vev 发布 v0.1 研究预览版,这是一个类似 Jev 的决策模型,可对文本、JSON 记录或截图提出是/否、多选或分级问题,并在约 40 ms 内返回每个允许答案的概率,不生成文本。

    推荐理由:开源决策模型给出逐选项概率而非生成文本,读者可据此判断它在截图判定类任务上的可用边界。

  3. Show HN62

    Genjutsu AI 上线:用 Higgsfield 模型替换已有视频中的物体与场景

    Genjutsu AI 上线一个视频到视频生成站点,底层使用 Higgsfield 的 Genjutsu 模型,可在保留原片运动、运镜和时长的前提下重写主体周围的场景、风格、产品或单个物体,提供 Motion Transfer 和 Objects Swap 两种模式,支持 480p、720p、1080p。

    推荐理由:第三方站点把 Higgsfield 的 Genjutsu 视频改景模型做成按次付费入口,可对比官方订阅的付费方式差异。

  4. Ask HN62

    Orcah Studio 推出本地优先视频智能体,可检索视频内容

    Orcah Studio 创始人 Ilias 发布本地优先桌面应用,目前支持 Mac OS,可完成音频转写、人脸识别、物体检测、OCR 和视频场景描述。应用内置本地优先的视频智能体,能理解提示词并定位到用户要找的具体片段,该智能体基于一个 8B 参数的开源权重模型微调,支持工具调用。此外还提供 MCP,可接入 Claude Code、Codex 和 OpenCode 检索已索引的视频。

    推荐理由:创始人自述本地优先视频智能体的能力组合与 MCP 接入方式,可了解端侧视频检索的一种实现路径。

  5. The Decoder74

    Reka AI 发布 19B 全能模型 Rho-1,统一处理文本、图像、视频与机器人控制

    Reka AI 发布研究预览版 Rho-1,这是一个 190 亿参数的全能模型,在单一神经网络中处理并生成文本、图像、视频和机器人控制动作。与多数把任务分派给专用模型的系统不同,Rho-1 将所有模态作为 token 放在同一个共享上下文窗口中运行,不调用工具或外部模型。

    推荐理由:Rho-1 把文本、图像、视频与机器人控制放进同一套权重,读者可据此了解多模态统一建模的一种新路径。

10月5日周一
  1. InfoQ中文62

    苹果公布 Apple Reference Image 设计:iPhone 18 Pro 传感器级照片签名,信任交给私有云计算

    苹果公布 Apple Reference Image 设计,这是 iPhone 18 Pro 和 iPhone 18 Pro Max 主摄像头上一项需用户主动启用的拍摄模式,可生成带时间戳并验证来自真实传感器拍摄的照片。

    推荐理由:材料呈现了苹果把图像溯源信任从 C2PA 编辑链转向传感器与自家云的设计,以及社区对重放攻击和匿名性的分歧。

10月4日周日
  1. Show HN78

    SCM:macOS 本地 AI 搜索照片与视频每一帧

    作者发布 macOS 本地优先的 AI 搜索工具 SCM,可对任意文件夹内的照片和视频按自然语言检索,推理全部在本机完成,不上传、无账号。视频按镜头切分并嵌入,结果可定位到具体时间码;另提供 OCR 文字检索、Whisper 对话逐句检索和可选的本地 LLM 问答。默认 CLIP 模型权重约 435MB,首次下载后完全离线,可通过 Homebrew 安装。

    推荐理由:作者公开了本地优先的多模态检索工具,含视频分镜与对话检索的实现细节,可对照自己的素材管理方案。