Caramel:仅使用音频训练的语音到语音对话模型
naklecha发布了一篇论文,介绍了一个名为Caramel的语音到语音对话模型,该模型仅使用音频数据进行训练,并开源了代码、训练方法和权重。
推荐理由:该研究展示了仅使用语音数据进行训练的语音到语音对话模型,对语音处理领域有潜在影响。
AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。
naklecha发布了一篇论文,介绍了一个名为Caramel的语音到语音对话模型,该模型仅使用音频数据进行训练,并开源了代码、训练方法和权重。
推荐理由:该研究展示了仅使用语音数据进行训练的语音到语音对话模型,对语音处理领域有潜在影响。
文章探讨了个人 AI 助手的发展趋势,分析了语音交互和陪伴感在 AI 助手中的应用及其影响,提出了陪伴感既是 AI 助手的增长机制,也可能导致用户情感依赖的问题。
推荐理由:文章探讨了个人 AI 助手的发展趋势,分析了语音交互和陪伴感在 AI 助手中的应用及其影响。
有道子曰 Confucius4-R2T2 模型在 Hugging Face 自动语音识别热榜上登顶,全球累计下载量达 20 万次,技术报告已上线。
推荐理由:该模型在 Hugging Face 自动语音识别热榜上取得优异成绩,具有较高研究价值。
研究人员发现,Google 的 Gemini 2.5 Pro、Gemini 2.5 Flash 和 OpenAI 的 GPT-Audio 1.5 在语音评估中对特定口音存在偏见,普遍将中国和尼日利亚口音的评分最低,美国和英国口音的评分最高。
推荐理由:原文揭示了大型语言模型在语音评估中存在的偏见,对理解AI在语音处理领域的局限性有重要意义。
Orilo语音个人助理发布,主打语音交互和个性化信息推送,旨在为用户提供更自然、高效的交互体验,有望改变现有工作流。
推荐理由:Orilo作为一款语音优先的AI个人助理,通过语音交互和个性化信息推送,为用户提供更自然、高效的交互体验,有望改变现有工作流。
微软开源的VibeVoice-ASR-BitNet语音识别模型体积小至1.58GB,支持纯CPU推理,支持中英法意等多语言,为本地中文转写提供了一种新的选择。
推荐理由:原文介绍了微软开源的语音识别模型VibeVoice-ASR-BitNet,该模型体积小,支持纯CPU推理,对需要本地中文转写的用户有参考价值。
Deepgram 收购了 Pipecat 制造商 Daily,以加强其语音 AI 基础设施,并承诺将 Pipecat 保持开源。Daily 提供了语音和视频通话的托管基础设施,Pipecat 是一个管理语音和视频流以及语音识别和语音合成的框架。Deepgram 还推出了实时上下文标准 (RCS),这是一个为语音代理定义元数据和指导的开放协议。
推荐理由:Deepgram 通过收购 Daily,加强了其语音 AI 基础设施,并承诺将 Pipecat 保持开源,这可能对语音 AI 领域产生重大影响。
英伟达推出开放权重语音转录模型 Nemotron 3.5 Transcribe,支持 40 种语言转录,最多可区分 8 名说话人,已在 Hugging Face 与 ModelScope 免费开放。
推荐理由:英伟达开源了 Nemotron 3.5 Transcribe 模型,支持多语言转录和说话人识别,对多场景应用有重要意义。
文章分析了语音助手的发展现状,包括 Dessa 和 Grok Voice 3.0 等模型的特性,探讨了语音助手在日常生活和工作中的应用,以及语音助手面临的挑战和未来发展趋势。
推荐理由:文章探讨了语音助手的发展趋势,分析了不同语音模型的技术路线和实际应用,对读者了解语音助手的发展方向有参考价值。
ESP32-P4微控制器上实现了实时语音转文字功能,无需云端支持。
推荐理由:该工具展示了在ESP32-P4微控制器上实现实时语音转文字的能力,对于需要端侧语音处理的应用场景具有参考价值。
科大讯飞发布星火语音基座大模型SparkAudio 1.0,具备中英文切换和实时说话人识别功能,已在讯飞输入法等多个产品中上线。
推荐理由:原文介绍了科大讯飞发布的星火语音基座大模型SparkAudio 1.0,该模型具备中英文切换和实时说话人识别等功能,读者可以了解其如何改变现有语音处理工作流。
蚂蚁百灵开源 Ming-3.0 语音系列模型,包括语音合成、音频理解与对话、语音识别三个系列,共五款模型,支持开发者按任务选择或组合使用。
推荐理由:蚂蚁百灵开源 Ming-3.0 语音系列模型,涵盖了语音合成、音频理解与对话、语音识别等多个方面,对语音技术领域具有推动作用。
OpenClicky 发布开源 macOS 听写工具,按住 fn 键说话即可在光标处输入,默认用 Apple 端侧识别离线运行,填入 Sarvam key 后支持十一种印度语言。它同时保留语音伴侣功能,按住 ⌃⌥ 可询问屏幕内容并让光标指向答案,还能把文件、命令类任务交给 Codex agent,采用 MIT 许可,要求 Apple Silicon 与 macOS 14.2+。
推荐理由:开源 macOS 听写工具把离线识别、按应用风格改写和屏幕指点、Codex 派活放在同一条链路里,可据此判断本地语音助手的形态。
Lessong 是一个开源工具,能把任意歌曲自动转成语言听力课:先逐句朗读歌词原文与译文,再播放对应的真实歌曲段落。它用一条命令完成人声分离、歌词对齐、翻译、旁白和节拍对齐混音,依赖 Demucs、ElevenLabs 和 OpenAI API,一首 4 分钟歌曲在 Apple 芯片笔记本上约需 4 到 5 分钟。项目采用 MIT 许可,作者提醒使用者需自行确保音频使用权利。
推荐理由:原文给出了从分轨到混音的完整流水线、命令行用法和成本估算,读者可据此判断自建歌曲教学音频的可行路径。
TuxWhisper 是面向 Linux 的离线按键听写工具,按快捷键说话即可把文字粘贴到光标处,语音识别用 faster-whisper 在本地运行,不上传云端。
推荐理由:原文给出了 Linux 端离线听写工具在 Wayland 下的实现方式与配置细节,可据此判断本地语音输入的可用边界。
VoiceGremlin 发布一款 SaaS 工具,用于对 AI 电话智能体做自动化测试。用户可通过 API 提交电话号码和测试项,例如验证智能体是否在首条消息中披露其 AI 身份和录音,接口返回 run_id 与排队状态,查询运行结果可得到通过数量及判定理由。
推荐理由:原文给出 API 调用示例,读者可据此判断如何对 AI 电话智能体做自动化合规测试。
Luke 是一款面向编码智能体的语音规划工具,用户口述功能需求时它会阅读代码,并生成可直接粘贴到 Claude Code 或 Codex 的计划。该工具提供 macOS 版本,要求 macOS 14+ 与 Apple silicon,代码已在 GitHub 开源。
推荐理由:语音口述需求、工具读代码并生成可粘贴到 Claude Code 或 Codex 的计划,展示了编码智能体前置环节的一种新做法。
RoamDeck 上线,可将 Android 手机与 Windows PC 直连,在手机上打开并操作 PC 上的真实终端窗口,支持语音听写、文件传输和屏幕实时查看。
推荐理由:原文给出了端到端加密的直连方式与 Whisper 本地转写等具体能力,读者可据此判断远程控制 PC 的实际可用性。
Audistill 是一款面向 macOS 的本地优先 AI 音频知识库,可把播客、YouTube 视频、会议和任意音频转成可搜索的摘要、笔记和可对话的知识库。
推荐理由:原文交代了本地转写与自带 key 调用 LLM 的分工,读者可据此判断隐私边界和实际成本。
Daisy 是一款 Mac 会议记录应用,在设备端完成转录与说话人分离,并在应用内运行绑定 127.0.0.1 的本地 MCP server,让 Claude Desktop、Cursor、Codex 等客户端搜索和读取会议内容。
推荐理由:原文给出了本地转录与本地 MCP 服务的数据边界和接入步骤,可据此判断会议记录能否留在本机。