Simon Willison 测试 Claude Opus 5.5 作曲能力:生成可播放游戏音乐的 artifact
Simon Willison 让 Claude Opus 5.5 设计简单的文本音乐格式并构建可播放的 artifact,要求达到《猴岛小英雄》初代配乐水准,结果意外地更贴近猴岛主题且质量出乎意料地好。他由此猜测,文本模型作曲可能类似此前的 3D 图形能力,是近几个月才涌现的新能力,但需用其他新旧模型做实验才能确认。
Simon Willison 让 Claude Opus 5.5 设计简单的文本音乐格式并构建可播放的 artifact,要求达到《猴岛小英雄》初代配乐水准,结果意外地更贴近猴岛主题且质量出乎意料地好。他由此猜测,文本模型作曲可能类似此前的 3D 图形能力,是近几个月才涌现的新能力,但需用其他新旧模型做实验才能确认。
Mistral 发布迄今最大模型 Mistral Large 4(ML4),总参数 1 万亿、激活 49 亿,为原生多模态模型,已在 Mistral Studio 开放 API 预览,权重预计 10 月底发布。
推荐理由:Mistral 迄今最大模型以万亿参数和网络安全定位切入,独立指数显示其与头部闭源模型仍有明显差距。
一位开发者在 Show HN 上展示了用 AI 让 Big Mouth Billy Bass 唱歌鱼"活过来"的项目。该帖子发布后获得 1 分,暂无评论。
法国 AI 实验室 Mistral AI 发布 Mistral Large 4(ML4),一款 1 万亿参数的大型多模态模型,昵称 Le Chonk,目前仅通过带护栏的公开端点访问,计划在安全测试完成后三周内开放权重。
推荐理由:Mistral 以 1T 参数多模态模型切入开源与闭源之间的第三条路线,读者可了解其算力投入与开放节奏。
Vev 发布 v0.1 研究预览版,这是一个类似 Jev 的决策模型,可对文本、JSON 记录或截图提出是/否、多选或分级问题,并在约 40 ms 内返回每个允许答案的概率,不生成文本。
推荐理由:开源决策模型给出逐选项概率而非生成文本,读者可据此判断它在截图判定类任务上的可用边界。
Genjutsu AI 上线一个视频到视频生成站点,底层使用 Higgsfield 的 Genjutsu 模型,可在保留原片运动、运镜和时长的前提下重写主体周围的场景、风格、产品或单个物体,提供 Motion Transfer 和 Objects Swap 两种模式,支持 480p、720p、1080p。
推荐理由:第三方站点把 Higgsfield 的 Genjutsu 视频改景模型做成按次付费入口,可对比官方订阅的付费方式差异。
Mistral AI 于当地时间 10 月 6 日推出 Mistral Large 4(ML4,代号 le Chonk)公开预览版,用户可在 Mistral Studio 体验预览版 API,模型权重将于本月底开放下载。
推荐理由:Mistral Large 4 的参数量、激活规模与定价一并给出,可对照欧美开放权重模型的竞争位置。
一位开发者在 Ask HN 上求助,寻找能同时接受参考音频和文本指令、输出新声音的 AI 模型,用于基于少量干净样本生成新音效。他试过 ElevenLabs SFX,但该产品只支持 text-to-audio、无法用参考音频引导;也试过号称支持该功能的 Stable Audio 3,结果很差。他认为这一模态仍停留在图像生成 2016 年的水平。
Eyad Nour 在 Steve Jobs 逝世周年(10 月 5 日)发布了一个独立动画网页,重现苹果 1997 年《Crazy Ones》广告,使用 Jobs 本人 1997 年录制的旁白原声。动画、音效与代码由 Claude Opus 5.5 完成,画面由 GPT-Image-2.5 绘制,原创音乐与音效由 ElevenLabs 生成,作品与 Apple 无关联。
Orcah Studio 创始人 Ilias 发布本地优先桌面应用,目前支持 Mac OS,可完成音频转写、人脸识别、物体检测、OCR 和视频场景描述。应用内置本地优先的视频智能体,能理解提示词并定位到用户要找的具体片段,该智能体基于一个 8B 参数的开源权重模型微调,支持工具调用。此外还提供 MCP,可接入 Claude Code、Codex 和 OpenCode 检索已索引的视频。
推荐理由:创始人自述本地优先视频智能体的能力组合与 MCP 接入方式,可了解端侧视频检索的一种实现路径。
Reka AI 发布研究预览版 Rho-1,这是一个 190 亿参数的全能模型,在单一神经网络中处理并生成文本、图像、视频和机器人控制动作。与多数把任务分派给专用模型的系统不同,Rho-1 将所有模态作为 token 放在同一个共享上下文窗口中运行,不调用工具或外部模型。
推荐理由:Rho-1 把文本、图像、视频与机器人控制放进同一套权重,读者可据此了解多模态统一建模的一种新路径。
Supermodels 上线,主打无订阅、按次付费,在一个平台内集中调用多家顶级 AI 模型,覆盖文本、图像、视频、语音和音乐工作区。
苹果公布 Apple Reference Image 设计,这是 iPhone 18 Pro 和 iPhone 18 Pro Max 主摄像头上一项需用户主动启用的拍摄模式,可生成带时间戳并验证来自真实传感器拍摄的照片。
推荐理由:材料呈现了苹果把图像溯源信任从 C2PA 编辑链转向传感器与自家云的设计,以及社区对重放攻击和匿名性的分歧。
瑞典滚珠轴承制造商斯凯孚借助 AI 重现已故好莱坞影星葛丽泰·嘉宝拍摄广告,形象完全由文本提示词生成,未使用存档照片或历史影像。制作团队图像环节使用字节跳动 Seedream 5 Pro 与谷歌 Gemini 的 Nano Banana Pro,动作生成使用 Seedance 2、Seedance 2.5 及快手可灵 AI,语音则基于嘉宝早年影片原声训练。
Liftspan 上线 App Store,用户拍下教练计划表、书页或健身房白板照片,应用即可识别动作、保留组数与次数并设定起始重量,首次导入免费且照片不留存。该应用面向 40 岁以上训练者,为每个动作标注关节与下背风险,支持全健身房、家庭、酒店、徒手、哑铃、弹力带六种训练环境并离线使用。Pro 年费 $24.99,另有 $99.99 终身版限前 150 名。
作者发布 macOS 本地优先的 AI 搜索工具 SCM,可对任意文件夹内的照片和视频按自然语言检索,推理全部在本机完成,不上传、无账号。视频按镜头切分并嵌入,结果可定位到具体时间码;另提供 OCR 文字检索、Whisper 对话逐句检索和可选的本地 LLM 问答。默认 CLIP 模型权重约 435MB,首次下载后完全离线,可通过 Homebrew 安装。
推荐理由:作者公开了本地优先的多模态检索工具,含视频分镜与对话检索的实现细节,可对照自己的素材管理方案。
NASA 与 IBM Research 联合多家学术机构发布 NASA-IBM Lunar Foundation Model,称其为首批面向月球科学的开源基础模型之一。
一名 AI 研究人员借助 OpenAI GPT-6 Astra 破解了拿破仑写于 1809 年的加密军事信件,这封信因密码本遗失已 217 年未被完整解读。该工作由 SentinelOne 的 AI 工程师卡特·丘奇完成,从历史文献扫描图像开始做文字识别和密码分析,整个过程约耗时 6 小时。
推荐理由:读者可以看到 GPT-6 Astra 如何把图像识别、符号分类与密码推理串成一条流程,并了解其验证方式。
美国 AI 视频公司 Tavus 于 10 月 1 日发布 Griffin 模型,定义为全球首个「人类交互模型」(HIM)。Tavus 公布的一分钟视频通话测试中,54 名参与者有 26 人认为自己是在和真人聊天,比例接近 48%,而上一代系统在同样测试中 41 人里只骗过 1 个,比例 2.4%。
推荐理由:通过 2.4% 到 48% 的对比和架构拆解,读者能看清端到端全双工数字人相比级联方案改变了什么。
Meshy 披露其 ARR 从 100 万美元增长至 1 亿美元,用时不到两年,比 HeyGen 的 29 个月更快。Meshy 7 在自建 3D 几何对齐基准中造型比例、空间分布和表面细节三项指标均领先,表面细节得分 59.8%;Meshy 7.1 将几何生成分辨率从 2048³ 提升至 4096³。三七互娱已将其接入生产流程,基础模型阶段雕刻工作量减少 30% 至 40%。
ViralWiz 在 Show HN 发布,可将原始素材自动生成短视频内容:30 秒内出字幕、AI 检测 5 个爆款片段、自动 B-roll 和缩略图,支持 50+ 语言、99% 转录准确率,上传到成片平均不到 2 分钟。
一套新的生成式流程可将纯文本直接转为逼真且无碰撞的无人机编队表演。中国春节晚会在合肥动用超 2 万架无人机,澳门烟花比赛则以 3400 架无人机开场。烟花表演如今也有了提示词工程师。
研究团队提出 Image-to-Code 方法,让编码智能体从单张照片出发,迭代编写并运行 Blender 程序,直到场景匹配原图,输出可直接运行和修改的代码。
推荐理由:LEGO-Bench 用模拟器场景提供精确 3D 真值,揭示编码智能体自评几何接近随机水平这一关键局限。
OpenAI 宣布在全球范围上线 ChatGPT 的两项购物功能:虚拟试穿和收藏。虚拟试穿允许用户上传自拍或全身照,查看衣服或配饰穿在身上的效果,入口是购物结果中的 Try On 按钮,也可上传商品图片让 ChatGPT 试穿;收藏功能可将商品保存到应用内的 Library,与试穿图片一并存放。
AI 原生影视公司 Utopai Studios 的自研模型 Utopai X 截至 9 月 30 日在 Artificial Analysis 带音频文生视频排行榜位列全球第二,仅次于 Wan 3.0,是排名最高的美国公司模型。
Tavus 推出 Griffin,公司称其为首个 Human Interaction Model(HIM),可在实时视频通话中同时接收和生成语音、面部表情、语气、手势与停顿。
Google 在 Gemini Live 中上线 Guided Vision,可在兼容 Android 设备上通过共享摄像头,对镜头中的内容给出实时语音描述,帮助阅读小字、描述周围环境、寻找或识别物体。
Black Forest Labs 发布 Flux 3 模型家族的图像部分 Flux 3 Image,官方称其支持多步编辑且不改变画面其他部分,覆盖文生图、图生图、文字渲染和照片级真实感。用户可用边界框构图、最多引入十张参考图、输出最高 4K,免费 demo 已开放,API 在 10 月 8 日前五折。企业可授权商业权重在自有基础设施上运行和微调,开放权重版本预计未来几周推出。
爱范儿用 Opus 5.5 公开案例的提示词在 MiniMax Code 中实测 MiniMax M3.1 Flash Preview,覆盖动态作品集、手绘短片、水墨动画、纽约天际线时间轴交互以及卡丁车和水下探索等游戏原型。
推荐理由:作者用同一批公开提示词对比 MiniMax M3.1 Flash 与 Opus 5.5 的前端创作成品,可观察 Flash 级模型在动效、手绘与交互场景中的实际完成度。
何恺明团队提出NAT-ARC,一套不依赖LLM的纯视觉ARC解题方案,用ImageNet上的MAE预训练encoder后迁移到抽象格子推理。表现最好的单模型为0.6B的huge尺度,在ARC-1上取得63.4%的pass@2分数,集成后达到70.2%,逼近使用8B语言模型的专用系统The ARChitects的71.6%。
推荐理由:论文用ImageNet预训练打通视觉路线在ARC上的scaling瓶颈,并给出注意力与可视化证据。
快手磁力引擎安全与生态算法专家袁瑗将在 QCon 上海站分享《生成即合规:Agentic AIGC 驱动的广告素材修复实践》,该架构将审核结论解构为结构化任务,对文字、图像、视频做局部精准编辑与片段生成/替换,并借助多目标强化学习在合规与营销吸引力之间动态求解。方案面向千万级素材吞吐场景,探索质量与成本权衡,推动合规从"事后审核"前置到"生成阶段"。
华为发布 Mate 90、Mate 90 Pro、Mate 90 Pro Max、Mate 90 RS 非凡大师四款旗舰,5999 元起,今日全系开售。Mate 90 Pro Max 首发麒麟 9050 Pro,NPU 性能提升 140%,并支持 120 帧极致光追;睿影 Z10 模块化相机单独售价 5999 元,仅 Pro Max 典藏版和 RS 非凡大师支持。
火山引擎多媒体实验室发布指令驱动的语音内容编辑模型,用户用自然语言说明要改什么,模型在保留原说话人音色、韵律和上下文的前提下局部再生成语音。模型先把原音频转为离散音频 Token,与编辑指令一起输入,经 CoT 式语义规划后再生成音频 Token 并由声码器还原波形,训练使用原音频、指令、修改后语义和语音组成的成对数据。
推荐理由:火山引擎披露语音内容编辑模型的指令驱动方案与两段口播纠错演示,可观察局部改词如何保留原音色。
openJiuwen 发布 WorkSwarm 全双工多模态能力,让实时音视频对话与 Core Agent 后台执行并行:用户可随时插话打断播报,复杂任务在后台继续搜索、调用工具并生成文件。
推荐理由:openJiuwen 把实时音视频对话与后台 Core Agent 执行拆成两条并行路径,读者可据此判断边聊边办事的交互如何落地。
Condé Nast 与 AWS 生成式 AI 创新中心合作,基于 Amazon Bedrock 和 Amazon OpenSearch Service 构建多模态视频检索方案,采用 TwelveLabs Marengo 嵌入模型联合编码画面、音频与转录文本。该方案将单次内容检索耗时从 250 分钟降至 2 分钟以内,支持自然语言意图搜索、以图搜视频和精确时间戳定位,覆盖其 14 万余条视频库。
微软研究院推出 Quine,一个面向生物学复杂性的 AI 研究系统,由生物世界模型和连接模型、科学工具、文献与实验人员的交互式 harness 组成。该系统与 Broad Institute 合作用于胰腺导管腺癌研究,预测并优先排序数千种化合物,最高排名化合物在湿实验中产生了最大的经典态向基底态转变,从缩小搜索空间到选出候选验证仅用一个周末。
推荐理由:微软研究院公开 Quine 的生物世界模型与实验闭环,并给出胰腺癌化合物筛选的湿实验验证结果。
爱范儿实测了近期在海外 AI 圈刷屏的匿名模型 Space Bunny Alpha,它能把随手画的草图在不到 5 分钟内变成可打开的网站,也能根据草图生成可交互的 3D 网页。
推荐理由:作者用草图转网页、3D 游戏和发动机展台等实测,呈现匿名模型 Space Bunny 的能力边界与日常主力定位。
AMD 正式宣布以全股票方式收购李飞飞创立两年的 World Labs,作价约 82 亿美元,双方已签署最终协议,预计 2026 年底前完成交易,仍须获得监管批准。
推荐理由:AMD 以 82 亿美元收购 World Labs,读者可借此理解芯片厂商为何提前押注空间智能与机器人仿真这类新工作负载。
ColorOS 17 深度评测显示,焕新凝光视效统一了第一方应用设计语言,流体云改用深色玻璃材质并加入莫奈取色高光,但暗色模式下光效偏厚重、可读性优先导致质感与真玻璃仍有差距。小布 AI 新增呼出动画与 PersonaX 记忆共生引擎,小布记忆升级为系统级能力,AI 简报支持自定义主题,后台留存与续航相比金标 C16 明显提升。
可灵发布 Kling 4.0 大版本更新,主打真实、可控、专业,将于 10 月正式上线,同时推出 Kling 4.0 Flash,已于 9 月 28 日率先开放小范围体验。
推荐理由:作者实测 Kling 4.0 的大幅运镜、长镜头与多素材参考能力,并给出可复用的提示词分工方法。