跳到正文

#多模态

今日 0 条
10月7日周三
  1. Simon Willison38

    Simon Willison 测试 Claude Opus 5.5 作曲能力:生成可播放游戏音乐的 artifact

    Simon Willison 让 Claude Opus 5.5 设计简单的文本音乐格式并构建可播放的 artifact,要求达到《猴岛小英雄》初代配乐水准,结果意外地更贴近猴岛主题且质量出乎意料地好。他由此猜测,文本模型作曲可能类似此前的 3D 图形能力,是近几个月才涌现的新能力,但需用其他新旧模型做实验才能确认。

10月6日周二
  1. TechCrunch · AI71

    Mistral 发布 1T 参数多模态模型 Mistral Large 4

    法国 AI 实验室 Mistral AI 发布 Mistral Large 4(ML4),一款 1 万亿参数的大型多模态模型,昵称 Le Chonk,目前仅通过带护栏的公开端点访问,计划在安全测试完成后三周内开放权重。

    推荐理由:Mistral 以 1T 参数多模态模型切入开源与闭源之间的第三条路线,读者可了解其算力投入与开放节奏。

  2. Show HN78

    Vev 开源决策模型发布:对截图提问并返回每个答案的概率

    Vev 发布 v0.1 研究预览版,这是一个类似 Jev 的决策模型,可对文本、JSON 记录或截图提出是/否、多选或分级问题,并在约 40 ms 内返回每个允许答案的概率,不生成文本。

    推荐理由:开源决策模型给出逐选项概率而非生成文本,读者可据此判断它在截图判定类任务上的可用边界。

  3. Show HN62

    Genjutsu AI 上线:用 Higgsfield 模型替换已有视频中的物体与场景

    Genjutsu AI 上线一个视频到视频生成站点,底层使用 Higgsfield 的 Genjutsu 模型,可在保留原片运动、运镜和时长的前提下重写主体周围的场景、风格、产品或单个物体,提供 Motion Transfer 和 Objects Swap 两种模式,支持 480p、720p、1080p。

    推荐理由:第三方站点把 Higgsfield 的 Genjutsu 视频改景模型做成按次付费入口,可对比官方订阅的付费方式差异。

  4. Ask HN22

    Ask HN:有没有基于文本和参考音频生成声音的 AI 模型?

    一位开发者在 Ask HN 上求助,寻找能同时接受参考音频和文本指令、输出新声音的 AI 模型,用于基于少量干净样本生成新音效。他试过 ElevenLabs SFX,但该产品只支持 text-to-audio、无法用参考音频引导;也试过号称支持该功能的 Stable Audio 3,结果很差。他认为这一模态仍停留在图像生成 2016 年的水平。

  5. Ask HN62

    Orcah Studio 推出本地优先视频智能体,可检索视频内容

    Orcah Studio 创始人 Ilias 发布本地优先桌面应用,目前支持 Mac OS,可完成音频转写、人脸识别、物体检测、OCR 和视频场景描述。应用内置本地优先的视频智能体,能理解提示词并定位到用户要找的具体片段,该智能体基于一个 8B 参数的开源权重模型微调,支持工具调用。此外还提供 MCP,可接入 Claude Code、Codex 和 OpenCode 检索已索引的视频。

    推荐理由:创始人自述本地优先视频智能体的能力组合与 MCP 接入方式,可了解端侧视频检索的一种实现路径。

  6. The Decoder74

    Reka AI 发布 19B 全能模型 Rho-1,统一处理文本、图像、视频与机器人控制

    Reka AI 发布研究预览版 Rho-1,这是一个 190 亿参数的全能模型,在单一神经网络中处理并生成文本、图像、视频和机器人控制动作。与多数把任务分派给专用模型的系统不同,Rho-1 将所有模态作为 token 放在同一个共享上下文窗口中运行,不调用工具或外部模型。

    推荐理由:Rho-1 把文本、图像、视频与机器人控制放进同一套权重,读者可据此了解多模态统一建模的一种新路径。

10月5日周一
  1. InfoQ中文62

    苹果公布 Apple Reference Image 设计:iPhone 18 Pro 传感器级照片签名,信任交给私有云计算

    苹果公布 Apple Reference Image 设计,这是 iPhone 18 Pro 和 iPhone 18 Pro Max 主摄像头上一项需用户主动启用的拍摄模式,可生成带时间戳并验证来自真实传感器拍摄的照片。

    推荐理由:材料呈现了苹果把图像溯源信任从 C2PA 编辑链转向传感器与自家云的设计,以及社区对重放攻击和匿名性的分歧。

  2. IT之家38

    斯凯孚用 AI“复活”葛丽泰·嘉宝拍广告,Seedream 5 Pro、可灵 AI 等参与制作

    瑞典滚珠轴承制造商斯凯孚借助 AI 重现已故好莱坞影星葛丽泰·嘉宝拍摄广告,形象完全由文本提示词生成,未使用存档照片或历史影像。制作团队图像环节使用字节跳动 Seedream 5 Pro 与谷歌 Gemini 的 Nano Banana Pro,动作生成使用 Seedance 2、Seedance 2.5 及快手可灵 AI,语音则基于嘉宝早年影片原声训练。

10月4日周日
  1. Show HN34

    Liftspan:拍下健身计划照片,自动生成训练方案

    Liftspan 上线 App Store,用户拍下教练计划表、书页或健身房白板照片,应用即可识别动作、保留组数与次数并设定起始重量,首次导入免费且照片不留存。该应用面向 40 岁以上训练者,为每个动作标注关节与下背风险,支持全健身房、家庭、酒店、徒手、哑铃、弹力带六种训练环境并离线使用。Pro 年费 $24.99,另有 $99.99 终身版限前 150 名。

  2. Show HN78

    SCM:macOS 本地 AI 搜索照片与视频每一帧

    作者发布 macOS 本地优先的 AI 搜索工具 SCM,可对任意文件夹内的照片和视频按自然语言检索,推理全部在本机完成,不上传、无账号。视频按镜头切分并嵌入,结果可定位到具体时间码;另提供 OCR 文字检索、Whisper 对话逐句检索和可选的本地 LLM 问答。默认 CLIP 模型权重约 435MB,首次下载后完全离线,可通过 Homebrew 安装。

    推荐理由:作者公开了本地优先的多模态检索工具,含视频分镜与对话检索的实现细节,可对照自己的素材管理方案。

  3. IT之家62

    OpenAI GPT-6 Astra 破解拿破仑 1809 年密信,揭示 217 年前军事部署

    一名 AI 研究人员借助 OpenAI GPT-6 Astra 破解了拿破仑写于 1809 年的加密军事信件,这封信因密码本遗失已 217 年未被完整解读。该工作由 SentinelOne 的 AI 工程师卡特·丘奇完成,从历史文献扫描图像开始做文字识别和密码分析,整个过程约耗时 6 小时。

    推荐理由:读者可以看到 GPT-6 Astra 如何把图像识别、符号分类与密码推理串成一条流程,并了解其验证方式。

  4. 极客公园68

    Tavus 发布 Griffin 人类交互模型,真人测试识别率从 2.4% 升至 48%

    美国 AI 视频公司 Tavus 于 10 月 1 日发布 Griffin 模型,定义为全球首个「人类交互模型」(HIM)。Tavus 公布的一分钟视频通话测试中,54 名参与者有 26 人认为自己是在和真人聊天,比例接近 48%,而上一代系统在同样测试中 41 人里只骗过 1 个,比例 2.4%。

    推荐理由:通过 2.4% 到 48% 的对比和架构拆解,读者能看清端到端全双工数字人相比级联方案改变了什么。

  5. 量子位42

    GPT-6 Astra 刷屏后,Meshy 不到两年 ARR 从 100 万美元增至 1 亿美元

    Meshy 披露其 ARR 从 100 万美元增长至 1 亿美元,用时不到两年,比 HeyGen 的 29 个月更快。Meshy 7 在自建 3D 几何对齐基准中造型比例、空间分布和表面细节三项指标均领先,表面细节得分 59.8%;Meshy 7.1 将几何生成分辨率从 2048³ 提升至 4096³。三七互娱已将其接入生产流程,基础模型阶段雕刻工作量减少 30% 至 40%。

10月3日周六
  1. TechCrunch · AI58

    ChatGPT 上线虚拟试穿与收藏功能

    OpenAI 宣布在全球范围上线 ChatGPT 的两项购物功能:虚拟试穿和收藏。虚拟试穿允许用户上传自拍或全身照,查看衣服或配饰穿在身上的效果,入口是购物结果中的 Try On 按钮,也可上传商品图片让 ChatGPT 试穿;收藏功能可将商品保存到应用内的 Library,与试穿图片一并存放。

10月2日周五
  1. The Decoder71

    Black Forest Labs 发布 Flux 3 Image,支持多步编辑

    Black Forest Labs 发布 Flux 3 模型家族的图像部分 Flux 3 Image,官方称其支持多步编辑且不改变画面其他部分,覆盖文生图、图生图、文字渲染和照片级真实感。用户可用边界框构图、最多引入十张参考图、输出最高 4K,免费 demo 已开放,API 在 10 月 8 日前五折。企业可授权商业权重在自有基础设施上运行和微调,开放权重版本预计未来几周推出。

  2. 爱范儿62

    和 Opus 5.5 同题交卷,MiniMax M3.1 Flash 的前端创作实测

    爱范儿用 Opus 5.5 公开案例的提示词在 MiniMax Code 中实测 MiniMax M3.1 Flash Preview,覆盖动态作品集、手绘短片、水墨动画、纽约天际线时间轴交互以及卡丁车和水下探索等游戏原型。

    推荐理由:作者用同一批公开提示词对比 MiniMax M3.1 Flash 与 Opus 5.5 的前端创作成品,可观察 Flash 级模型在动效、手绘与交互场景中的实际完成度。

10月1日周四
  1. 量子位62

    何恺明团队提出NAT-ARC:用ImageNet预训练让纯视觉方案解ARC

    何恺明团队提出NAT-ARC,一套不依赖LLM的纯视觉ARC解题方案,用ImageNet上的MAE预训练encoder后迁移到抽象格子推理。表现最好的单模型为0.6B的huge尺度,在ARC-1上取得63.4%的pass@2分数,集成后达到70.2%,逼近使用8B语言模型的专用系统The ARChitects的71.6%。

    推荐理由:论文用ImageNet预训练打通视觉路线在ARC上的scaling瓶颈,并给出注意力与可视化证据。

  2. InfoQ中文20

    快手袁瑗:Agentic AIGC 驱动的广告素材合规修复实践|QCon上海

    快手磁力引擎安全与生态算法专家袁瑗将在 QCon 上海站分享《生成即合规:Agentic AIGC 驱动的广告素材修复实践》,该架构将审核结论解构为结构化任务,对文字、图像、视频做局部精准编辑与片段生成/替换,并借助多目标强化学习在合规与营销吸引力之间动态求解。方案面向千万级素材吞吐场景,探索质量与成本权衡,推动合规从"事后审核"前置到"生成阶段"。

  3. InfoQ中文58

    火山引擎发布全新语音内容编辑模型

    火山引擎多媒体实验室发布指令驱动的语音内容编辑模型,用户用自然语言说明要改什么,模型在保留原说话人音色、韵律和上下文的前提下局部再生成语音。模型先把原音频转为离散音频 Token,与编辑指令一起输入,经 CoT 式语义规划后再生成音频 Token 并由声码器还原波形,训练使用原音频、指令、修改后语义和语音组成的成对数据。

    推荐理由:火山引擎披露语音内容编辑模型的指令驱动方案与两段口播纠错演示,可观察局部改词如何保留原音色。

9月30日周三
  1. InfoQ中文62

    openJiuwen 发布 WorkSwarm 全双工多模态能力,支持边聊边调用 Agent

    openJiuwen 发布 WorkSwarm 全双工多模态能力,让实时音视频对话与 Core Agent 后台执行并行:用户可随时插话打断播报,复杂任务在后台继续搜索、调用工具并生成文件。

    推荐理由:openJiuwen 把实时音视频对话与后台 Core Agent 执行拆成两条并行路径,读者可据此判断边聊边办事的交互如何落地。

9月29日周二
  1. AWS Machine Learning Blog22

    Condé Nast 如何用 Amazon Bedrock 构建多模态视频检索

    Condé Nast 与 AWS 生成式 AI 创新中心合作,基于 Amazon Bedrock 和 Amazon OpenSearch Service 构建多模态视频检索方案,采用 TwelveLabs Marengo 嵌入模型联合编码画面、音频与转录文本。该方案将单次内容检索耗时从 250 分钟降至 2 分钟以内,支持自然语言意图搜索、以图搜视频和精确时间戳定位,覆盖其 14 万余条视频库。

  2. Microsoft Research62

    微软研究院推出 Quine:面向生物学复杂性的 AI 研究系统

    微软研究院推出 Quine,一个面向生物学复杂性的 AI 研究系统,由生物世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并优先排序数千种化合物,最高排名化合物在湿实验中产生了最大的经典态向基底态转变,从缩小搜索空间到选出候选验证仅用一个周末。

    推荐理由:微软研究院公开 Quine 的生物世界模型与实验闭环,并给出胰腺癌化合物筛选的湿实验验证结果。

  3. 爱范儿78

    爱范儿实测神秘模型 Space Bunny:涂鸦生成网站,疑似 MiniMax 出品

    爱范儿实测了近期在海外 AI 圈刷屏的匿名模型 Space Bunny Alpha,它能把随手画的草图在不到 5 分钟内变成可打开的网站,也能根据草图生成可交互的 3D 网页。

    推荐理由:作者用草图转网页、3D 游戏和发动机展台等实测,呈现匿名模型 Space Bunny 的能力边界与日常主力定位。

  4. 少数派40

    ColorOS 17 深度评测:焕新凝光视效与小布 AI 进化

    ColorOS 17 深度评测显示,焕新凝光视效统一了第一方应用设计语言,流体云改用深色玻璃材质并加入莫奈取色高光,但暗色模式下光效偏厚重、可读性优先导致质感与真玻璃仍有差距。小布 AI 新增呼出动画与 PersonaX 记忆共生引擎,小布记忆升级为系统级能力,AI 简报支持自定义主题,后台留存与续航相比金标 C16 明显提升。