火山引擎发布全新语音内容编辑模型

火山引擎多媒体实验室发布指令驱动的语音内容编辑模型，用户用自然语言说明要改什么，模型在保留原说话人音色、韵律和上下文的前提下局部再生成语音。模型先把原音频转为离散音频 Token，与编辑指令一起输入，经 CoT 式语义规划后再生成音频 Token 并由声码器还原波形，训练使用原音频、指令、修改后语义和语音组成的成对数据。