英伟达开源最强转录 AI 模型 Nemotron 3.5 Transcribe:支持 40 种语言,8 人抢话也能精准转录
英伟达推出开放权重语音转录模型 Nemotron 3.5 Transcribe,支持 40 种语言转录,最多可区分 8 名说话人,已在 Hugging Face 与 ModelScope 免费开放。
推荐理由:英伟达开源了 Nemotron 3.5 Transcribe 模型,支持多语言转录和说话人识别,对多场景应用有重要意义。
英伟达推出开放权重语音转录模型 Nemotron 3.5 Transcribe,支持 40 种语言转录,最多可区分 8 名说话人,已在 Hugging Face 与 ModelScope 免费开放。
推荐理由:英伟达开源了 Nemotron 3.5 Transcribe 模型,支持多语言转录和说话人识别,对多场景应用有重要意义。
文章分析了语音助手的发展现状,包括 Dessa 和 Grok Voice 3.0 等模型的特性,探讨了语音助手在日常生活和工作中的应用,以及语音助手面临的挑战和未来发展趋势。
推荐理由:文章探讨了语音助手的发展趋势,分析了不同语音模型的技术路线和实际应用,对读者了解语音助手的发展方向有参考价值。
OpenAI的Decisions和Cloudflare的Clef等多模态模型支持文本或图像输入,而SPEV原生支持音频和视频输入,直接从音频推理,无需语音转文字转换,音频决策速度比OpenAI快3.5倍,仅需166毫秒。
Tavus 推出 Griffin,公司称其为首个 Human Interaction Model(HIM),可在实时视频通话中同时接收和生成语音、面部表情、语气、手势与停顿。
微软 AI 发布实时转写模型 MAI-Transcribe-2-Streaming,称其在 Artificial Analysis 准确率排名第一,支持 60 种语言,首个部分结果延迟略超 100 毫秒,年底前音频价格为每小时 0.54 美元。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,实现带精确唇形同步、自然表情和流畅轮次的视觉化对话。
推荐理由:官方给出 Live Avatar 的实时视频对话能力、异步工具调用与 97 种语言同步等具体细节,可据此判断企业级多模态交互的落地形态。
Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,前者面向角色设计与逐行表演指导,后者面向高并发配音和语音智能体。
推荐理由:两款 TTS 模型给出从 30 种预设到可自定义音色的能力变化,并列出基准排名与开放入口。
Google DeepMind 发布两款实时对话模型 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking,分别面向规模化低成本场景与高复杂度任务。
推荐理由:官方给出两款语音模型的基准成绩与开放渠道,可据此判断实时语音智能体的能力水位。
Google DeepMind 发布 Gemini 3.5 Transcribe,称其为目前最精确的语音转文字模型,可将原始音频直接转为准确、经过格式化的文本。
推荐理由:官方给出 WER、延迟与多语言等量化指标,并说明实时与录音两条 API 路径的接入方式。
OpenAI 发布新一代语音模型 GPT-Live,用于实现更自然的人机交互,目前已接入 ChatGPT Voice。
推荐理由:OpenAI 发布新一代语音模型并接入 ChatGPT Voice,读者可了解语音交互能力的一次代际更新。
Google DeepMind 发布 Gemini 3.5 Live Translate,一款支持 70+ 语言的近实时语音到语音翻译音频模型,能自动检测语言并保留说话人的语调、节奏和音高。
推荐理由:官方给出 70+ 语言实时语音翻译的连续生成机制与多产品落地节奏,可据此判断实时翻译的可用边界。
Google DeepMind 发布 Gemini 3.1 Flash TTS,一款主打可控性与表现力的文本转语音模型,已在 Gemini API 和 Google AI Studio 面向开发者预览、在 Vertex AI 面向企业预览,并通过 Google Vids 向 Workspace 用户开放。
推荐理由:官方给出音频标签控制方式、Elo 分数与多语言覆盖,可据此判断语音生成的可控性进展。
Google DeepMind 发布 Gemini 3.1 Flash Live,称其为目前质量最高的音频与语音模型,精度更高、延迟更低。该模型在 ComplexFuncBench Audio 上取得 90.8%,在 Scale AI 的 Audio MultiChallenge 上开启 thinking 后取得 36.1%。
推荐理由:官方给出语音模型的基准成绩与多端开放入口,可据此判断实时语音智能体的能力边界。
Google DeepMind 发布面向实时语音智能体的 Gemini 2.5 Flash Native Audio 更新版,在函数调用、指令遵循和多轮对话三方面做了改进,其中对开发者指令的遵循率从 84% 提升到 90%,在 ComplexFuncBench Audio 上以 71.5% 领先。
推荐理由:官方给出函数调用、指令遵循与多轮对话三项能力的具体提升数据,并同步上线实时语音翻译。
ChatGPT 引入视觉与语音功能,支持多模态输入,提升团队沟通效率;功能旨在使沟通更自然。
OpenAI 宣布推出新旗舰模型 GPT-4 Omni(GPT-4o),可在音频、视觉和文本之间进行实时推理。
推荐理由:OpenAI 官方发布新旗舰模型,读者可据此了解其在音频、视觉与文本上的实时推理定位。
OpenAI 训练并开源了神经网络 Whisper,其在英文语音识别上接近人类水平的鲁棒性和准确率。
推荐理由:OpenAI 开源语音识别模型 Whisper,读者可了解其在英文语音识别上的鲁棒性与准确率定位。