用 Amazon Bedrock AgentCore、Managed Knowledge Base 和 Nova Sonic 构建语音旅行助手
基于 Amazon Bedrock AgentCore、Amazon Nova 2.5 Sonic 与 Amazon Bedrock Knowledge Bases,可构建航空语音旅行助手,让旅客通过语音查询行程、改座位、更新餐食偏好并转接人工客服。
基于 Amazon Bedrock AgentCore、Amazon Nova 2.5 Sonic 与 Amazon Bedrock Knowledge Bases,可构建航空语音旅行助手,让旅客通过语音查询行程、改座位、更新餐食偏好并转接人工客服。
Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,实现带精确唇形同步、自然表情和流畅轮次的视觉化对话。
推荐理由:官方给出 Live Avatar 的实时视频对话能力、异步工具调用与 97 种语言同步等具体细节,可据此判断企业级多模态交互的落地形态。
Google DeepMind 推出 Gemini 3.8 Flash TTS 和 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型,前者面向角色设计与逐行表演指导,后者面向高并发配音和语音智能体。
推荐理由:两款 TTS 模型给出从 30 种预设到可自定义音色的能力变化,并列出基准排名与开放入口。
Ringg 基于 GPT-5.6 打造的多语言 AI 智能体可解决高达 65% 的客户来电,覆盖语音、聊天、WhatsApp 和网页渠道,成本较 GPT-4.1 降低 90%。
Google DeepMind 发布两款实时对话模型 Gemini 3.8 Live 和 Gemini 3.8 Live Extended Thinking,分别面向规模化低成本场景与高复杂度任务。
推荐理由:官方给出两款语音模型的基准成绩与开放渠道,可据此判断实时语音智能体的能力水位。
OpenAI 在 API 中推出 GPT-Live-1,支持自然的全双工语音对话。该模型具备更强的指令遵循能力,支持自定义音色和电话通信(telephony)接入。
推荐理由:OpenAI 把全双工语音对话能力开放到 API,开发者可据此判断语音应用的接入方式。
Google DeepMind 发布 Gemini 3.5 Transcribe,称其为目前最精确的语音转文字模型,可将原始音频直接转为准确、经过格式化的文本。
推荐理由:官方给出 WER、延迟与多语言等量化指标,并说明实时与录音两条 API 路径的接入方式。
OpenAI 披露其为 GPT-Live 构建实时语音系统的过程,该系统采用无轮次(turnless)语音模型与低延迟架构,实现与 AI 的连续语音交互,让对话更快、更自然。
avatarin 基于 OpenAI 的 GPT-Realtime 为山田电机(Yamada Denki)顾客提供 24/7 多语言支持。两周内有 30,000 人使用该智能体,92% 的问卷反馈为正面评价。
OpenAI 推出企业级 AI 智能体平台 OpenAI Presence,可部署可信的语音与聊天智能体,用于客户及内部工作流。该平台定位为经过验证的企业 AI 智能体平台,帮助组织落地相关智能体应用。
Cars24 借助 OpenAI 的语音与聊天智能体,每月处理超 100 万分钟对话,并挽回 12% 的流失线索。该公司还将智能体工作流推广至全公司各团队,以加快构建速度。
OpenAI 发布新一代语音模型 GPT-Live,用于实现更自然的人机交互,目前已接入 ChatGPT Voice。
推荐理由:OpenAI 发布新一代语音模型并接入 ChatGPT Voice,读者可了解语音交互能力的一次代际更新。
Google DeepMind 发布 Gemini 3.5 Live Translate,一款支持 70+ 语言的近实时语音到语音翻译音频模型,能自动检测语言并保留说话人的语调、节奏和音高。
推荐理由:官方给出 70+ 语言实时语音翻译的连续生成机制与多产品落地节奏,可据此判断实时翻译的可用边界。
Parloa 利用 OpenAI 模型构建可规模化的语音驱动 AI 客服智能体,让企业能够设计、模拟并部署可靠的实时交互。
OpenAI 在 API 中推出新的实时语音模型,可进行推理、翻译和语音转写,用于构建更自然、更智能的语音体验。
推荐理由:OpenAI 在 API 中上线新的实时语音模型,读者可据此了解语音能力在推理、翻译与转写上的变化。
Uber 正用 OpenAI 驱动 AI 助手和语音功能,帮助司机更聪明地赚钱、乘客更快叫车,服务覆盖全球实时交易市场。
OpenAI 重建了其 WebRTC 技术栈,以支撑实时语音 AI 的低延迟、全球规模与流畅的对话轮次切换。该栈面向大规模并发场景,重点解决实时语音交互中的延迟与轮次衔接问题。
Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中,该系统 97 例无关键错误,医生更偏好其回答而非现有证据合成工具;在 20 个模拟远程问诊场景、140 项问诊技能评估中,专家医生整体表现更好,但 AI 在 68 项上达到或超过初级保健医生水平。
推荐理由:Google DeepMind 公开 AI co-clinician 研究,含 98 例零关键错误与 140 项问诊能力对比,可看医疗智能体的能力边界。
Google DeepMind 发布 Gemini 3.1 Flash TTS,一款主打可控性与表现力的文本转语音模型,已在 Gemini API 和 Google AI Studio 面向开发者预览、在 Vertex AI 面向企业预览,并通过 Google Vids 向 Workspace 用户开放。
推荐理由:官方给出音频标签控制方式、Elo 分数与多语言覆盖,可据此判断语音生成的可控性进展。
Google DeepMind 发布 Gemini 3.1 Flash Live,称其为目前质量最高的音频与语音模型,精度更高、延迟更低。该模型在 ComplexFuncBench Audio 上取得 90.8%,在 Scale AI 的 Audio MultiChallenge 上开启 thinking 后取得 36.1%。
推荐理由:官方给出语音模型的基准成绩与多端开放入口,可据此判断实时语音智能体的能力边界。
Descript 借助 OpenAI 推理模型实现大规模内容库的自动本地化,在不丢失时间轴与语义的前提下完成多语言视频配音。该方案面向大体量内容库的自动本地化需求,解决了配音中时序与含义难以兼顾的问题。
Tolan 基于 GPT-5.1 打造了一款语音优先的 AI 伴侣,结合低延迟响应、实时上下文重建和记忆驱动的人格,实现自然对话。
Google DeepMind 发布面向实时语音智能体的 Gemini 2.5 Flash Native Audio 更新版,在函数调用、指令遵循和多轮对话三方面做了改进,其中对开发者指令的遵循率从 84% 提升到 90%,在 ComplexFuncBench Audio 上以 71.5% 领先。
推荐理由:官方给出函数调用、指令遵循与多轮对话三项能力的具体提升数据,并同步上线实时语音翻译。
OpenAI 发布更先进的语音到语音模型 gpt-realtime,并更新 Realtime API。新 API 能力包括 MCP server 支持、图像输入和 SIP 电话呼叫支持。
推荐理由:OpenAI 发布语音到语音新模型并扩展 Realtime API,读者可了解语音智能体接入工具与电话场景的能力边界。
Speak 正借助 AI 实现语言学习的个性化。OpenAI 与 Speak CEO 兼联合创始人 Connor Zwick 展开对话,介绍相关做法。
ChatGPT 引入视觉与语音功能,支持多模态输入,提升团队沟通效率;功能旨在使沟通更自然。
OpenAI 在 API 中推出新一代音频模型,开发者首次可以指示文本转语音模型以特定方式说话,例如“像一位有同理心的客服人员那样说话”,为语音智能体带来新的定制能力。
推荐理由:OpenAI 在 API 中开放语音风格指令能力,读者可据此判断语音智能体的定制空间。
OpenAI 推出 Realtime API,开发者可将其集成到应用中,构建快速的语音到语音交互体验。
推荐理由:OpenAI 面向开发者开放 Realtime API,可用于构建低延迟的语音到语音交互体验。
OpenAI 提出 Consistency Models,可在不依赖迭代采样的情况下实现图像、音频和视频生成,从而解决扩散模型生成速度慢的问题。扩散模型虽推动了这些生成领域的发展,但其迭代采样过程导致生成缓慢。
OpenAI 详解其文本转语音模型 Voice Engine 的技术原理及安全研究。
OpenAI 与业内顶尖选角及导演专业人士合作,从 400 多份投稿中筛选,最终为 ChatGPT 选定 5 种声音。
OpenAI 宣布推出新旗舰模型 GPT-4 Omni(GPT-4o),可在音频、视觉和文本之间进行实时推理。
推荐理由:OpenAI 官方发布新旗舰模型,读者可据此了解其在音频、视觉与文本上的实时推理定位。
OpenAI 发布 ChatGPT 和 Whisper API,将其对话模型与语音识别能力开放给开发者调用。
OpenAI 分享了自定义语音生成模型 Voice Engine 小规模预览的经验教训。该模型可根据文本创建定制声音,目前仍处于小范围测试阶段。
OpenAI 宣布 ChatGPT 新增看、听、说能力,可处理图像与语音输入并语音回复。
OpenAI 发布 ChatGPT iOS 应用,可同步对话记录并支持语音输入,同时把最新的模型改进带到移动端。
推荐理由:OpenAI 官方公布 ChatGPT iOS 应用的核心能力,读者可据此了解移动端入口与语音输入带来的使用变化。
OpenAI 训练并开源了神经网络 Whisper,其在英文语音识别上接近人类水平的鲁棒性和准确率。
推荐理由:OpenAI 开源语音识别模型 Whisper,读者可了解其在英文语音识别上的鲁棒性与准确率定位。