跳到正文

语音与音频

AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。

46条精选相关主题多模态AI 视频产品更新

最新精选

第 21–40 条 · 共 46 条
10月5日周一
  1. Show HN71

    Parakeetogo:可在 CPU 上运行的便携 ASR 二进制,速度约为 Photon 的 2 倍

    作者发布 Parakeetogo,一个面向 moondream/parakeet-redux(parakeet-tdt-0.6b-v3 的 1.58-bit 三值版本)的独立 C++ 推理引擎,支持 x86 与 ARM CPU,单个二进制完成音频输入到文本输出,无需 Python 和运行时下载。

    推荐理由:作者给出与 Photon 同机对比的实测数据与跨架构一致性验证,可据此判断 CPU 端 ASR 部署的可行边界。

  2. Show HN58

    EarWing:可 3D 打印的开源转录硬件设备

    作者发布开源硬件转录设备 EarWing,可自行 3D 打印并组装,使用 ESP32 开发板和 4 个麦克风做降噪。转录与摘要生成在浏览器端完成,转录用 Parakeet,要点、开放问题和行动项提取用 LFM 2.6B,代码已开源于 GitHub,作者称软件目前较粗糙但在 Chrome 中运行良好。

    推荐理由:开源硬件方案把转录设备的成本结构摊开,读者可据此判断自建替代订阅的可行边界。

  3. Show HN71

    Recly 发布:把手表变成 Plaud 式 AI 录音笔

    Recly 是一款开源(AGPL-3.0-or-later)应用,已上架 App Store 和 Google Play,可把 Galaxy Watch 或 Apple Watch 变成录音设备,双击手表按键即可开始录音。

    推荐理由:开源方案把智能手表变成录音笔,转录在端侧完成,笔记交给用户已有的 AI 智能体处理。

10月4日周日
  1. 极客公园68

    Tavus 发布 Griffin 人类交互模型,真人测试识别率从 2.4% 升至 48%

    美国 AI 视频公司 Tavus 于 10 月 1 日发布 Griffin 模型,定义为全球首个「人类交互模型」(HIM)。Tavus 公布的一分钟视频通话测试中,54 名参与者有 26 人认为自己是在和真人聊天,比例接近 48%,而上一代系统在同样测试中 41 人里只骗过 1 个,比例 2.4%。

    推荐理由:通过 2.4% 到 48% 的对比和架构拆解,读者能看清端到端全双工数字人相比级联方案改变了什么。

10月1日周四
  1. InfoQ中文58

    火山引擎发布全新语音内容编辑模型

    火山引擎多媒体实验室发布指令驱动的语音内容编辑模型,用户用自然语言说明要改什么,模型在保留原说话人音色、韵律和上下文的前提下局部再生成语音。模型先把原音频转为离散音频 Token,与编辑指令一起输入,经 CoT 式语义规划后再生成音频 Token 并由声码器还原波形,训练使用原音频、指令、修改后语义和语音组成的成对数据。

    推荐理由:火山引擎披露语音内容编辑模型的指令驱动方案与两段口播纠错演示,可观察局部改词如何保留原音色。

9月30日周三
  1. InfoQ中文62

    openJiuwen 发布 WorkSwarm 全双工多模态能力,支持边聊边调用 Agent

    openJiuwen 发布 WorkSwarm 全双工多模态能力,让实时音视频对话与 Core Agent 后台执行并行:用户可随时插话打断播报,复杂任务在后台继续搜索、调用工具并生成文件。

    推荐理由:openJiuwen 把实时音视频对话与后台 Core Agent 执行拆成两条并行路径,读者可据此判断边聊边办事的交互如何落地。

9月25日周五
  1. Google DeepMind66

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar

    Google DeepMind 发布 Gemini 3.8 Live with Live Avatar,在 Gemini 3.8 Live 的原生实时对话模型上加入近实时视频生成,实现带精确唇形同步、自然表情和流畅轮次的视觉化对话。

    推荐理由:官方给出 Live Avatar 的实时视频对话能力、异步工具调用与 97 种语言同步等具体细节,可据此判断企业级多模态交互的落地形态。

9月23日周三
9月16日周三
9月10日周四
  1. OpenAI News68

    OpenAI 在 API 中推出 GPT-Live-1 语音模型

    OpenAI 在 API 中推出 GPT-Live-1,支持自然的全双工语音对话。该模型具备更强的指令遵循能力,支持自定义音色和电话通信(telephony)接入。

    推荐理由:OpenAI 把全双工语音对话能力开放到 API,开发者可据此判断语音应用的接入方式。

8月27日周四
7月8日周三
6月9日周二
5月7日周四
4月30日周四
  1. Google DeepMind62

    Google DeepMind 发布 AI co-clinician 医疗智能体研究

    Google DeepMind 宣布 AI co-clinician 研究计划,探索 AI 智能体在医生临床监督下协助患者诊疗。在 98 个真实初级保健查询的盲评中,该系统 97 例无关键错误,医生更偏好其回答而非现有证据合成工具;在 20 个模拟远程问诊场景、140 项问诊技能评估中,专家医生整体表现更好,但 AI 在 68 项上达到或超过初级保健医生水平。

    推荐理由:Google DeepMind 公开 AI co-clinician 研究,含 98 例零关键错误与 140 项问诊能力对比,可看医疗智能体的能力边界。

4月16日周四
  1. Google DeepMind62

    Google DeepMind 发布 Gemini 3.1 Flash TTS 语音模型

    Google DeepMind 发布 Gemini 3.1 Flash TTS,一款主打可控性与表现力的文本转语音模型,已在 Gemini API 和 Google AI Studio 面向开发者预览、在 Vertex AI 面向企业预览,并通过 Google Vids 向 Workspace 用户开放。

    推荐理由:官方给出音频标签控制方式、Elo 分数与多语言覆盖,可据此判断语音生成的可控性进展。

3月26日周四
  1. Google DeepMind72

    Google DeepMind 发布 Gemini 3.1 Flash Live 语音模型

    Google DeepMind 发布 Gemini 3.1 Flash Live,称其为目前质量最高的音频与语音模型,精度更高、延迟更低。该模型在 ComplexFuncBench Audio 上取得 90.8%,在 Scale AI 的 Audio MultiChallenge 上开启 thinking 后取得 36.1%。

    推荐理由:官方给出语音模型的基准成绩与多端开放入口,可据此判断实时语音智能体的能力边界。

12月13日周六
  1. Google DeepMind66

    Google DeepMind 更新 Gemini 2.5 Flash Native Audio 并推出实时语音翻译

    Google DeepMind 发布面向实时语音智能体的 Gemini 2.5 Flash Native Audio 更新版,在函数调用、指令遵循和多轮对话三方面做了改进,其中对开发者指令的遵循率从 84% 提升到 90%,在 ComplexFuncBench Audio 上以 71.5% 领先。

    推荐理由:官方给出函数调用、指令遵循与多轮对话三项能力的具体提升数据,并同步上线实时语音翻译。

8月28日周四
3月20日周四
  1. OpenAI News60

    OpenAI 在 API 中推出新一代音频模型

    OpenAI 在 API 中推出新一代音频模型,开发者首次可以指示文本转语音模型以特定方式说话,例如“像一位有同理心的客服人员那样说话”,为语音智能体带来新的定制能力。

    推荐理由:OpenAI 在 API 中开放语音风格指令能力,读者可据此判断语音智能体的定制空间。