Google DeepMind 发布 Gemini 3.1 Flash TTS 语音模型
Google DeepMind 发布 Gemini 3.1 Flash TTS,一款主打可控性与表现力的文本转语音模型,已在 Gemini API 和 Google AI Studio 面向开发者预览、在 Vertex AI 面向企业预览,并通过 Google Vids 向 Workspace 用户开放。
推荐理由:官方给出音频标签控制方式、Elo 分数与多语言覆盖,可据此判断语音生成的可控性进展。
AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。
Google DeepMind 发布 Gemini 3.1 Flash TTS,一款主打可控性与表现力的文本转语音模型,已在 Gemini API 和 Google AI Studio 面向开发者预览、在 Vertex AI 面向企业预览,并通过 Google Vids 向 Workspace 用户开放。
推荐理由:官方给出音频标签控制方式、Elo 分数与多语言覆盖,可据此判断语音生成的可控性进展。
Google DeepMind 发布 Gemini 3.1 Flash Live,称其为目前质量最高的音频与语音模型,精度更高、延迟更低。该模型在 ComplexFuncBench Audio 上取得 90.8%,在 Scale AI 的 Audio MultiChallenge 上开启 thinking 后取得 36.1%。
推荐理由:官方给出语音模型的基准成绩与多端开放入口,可据此判断实时语音智能体的能力边界。
Google DeepMind 发布面向实时语音智能体的 Gemini 2.5 Flash Native Audio 更新版,在函数调用、指令遵循和多轮对话三方面做了改进,其中对开发者指令的遵循率从 84% 提升到 90%,在 ComplexFuncBench Audio 上以 71.5% 领先。
推荐理由:官方给出函数调用、指令遵循与多轮对话三项能力的具体提升数据,并同步上线实时语音翻译。
OpenAI 发布更先进的语音到语音模型 gpt-realtime,并更新 Realtime API。新 API 能力包括 MCP server 支持、图像输入和 SIP 电话呼叫支持。
推荐理由:OpenAI 发布语音到语音新模型并扩展 Realtime API,读者可了解语音智能体接入工具与电话场景的能力边界。
OpenAI 在 API 中推出新一代音频模型,开发者首次可以指示文本转语音模型以特定方式说话,例如“像一位有同理心的客服人员那样说话”,为语音智能体带来新的定制能力。
推荐理由:OpenAI 在 API 中开放语音风格指令能力,读者可据此判断语音智能体的定制空间。
OpenAI 推出 Realtime API,开发者可将其集成到应用中,构建快速的语音到语音交互体验。
推荐理由:OpenAI 面向开发者开放 Realtime API,可用于构建低延迟的语音到语音交互体验。
OpenAI 宣布推出新旗舰模型 GPT-4 Omni(GPT-4o),可在音频、视觉和文本之间进行实时推理。
推荐理由:OpenAI 官方发布新旗舰模型,读者可据此了解其在音频、视觉与文本上的实时推理定位。
OpenAI 发布 ChatGPT 和 Whisper API,将其对话模型与语音识别能力开放给开发者调用。
OpenAI 宣布 ChatGPT 新增看、听、说能力,可处理图像与语音输入并语音回复。
OpenAI 发布 ChatGPT iOS 应用,可同步对话记录并支持语音输入,同时把最新的模型改进带到移动端。
推荐理由:OpenAI 官方公布 ChatGPT iOS 应用的核心能力,读者可据此了解移动端入口与语音输入带来的使用变化。
OpenAI 训练并开源了神经网络 Whisper,其在英文语音识别上接近人类水平的鲁棒性和准确率。
推荐理由:OpenAI 开源语音识别模型 Whisper,读者可了解其在英文语音识别上的鲁棒性与准确率定位。