name_ch: 用你自己的声音说外语：跨语言神经编解码器语言建模

name_en: Speak Foreign Languages with Your Own Voice：Cross-Lingual Neural Codec Language Modeling

paper_addr: http://arxiv.org/abs/2303.03926

date_publish: 2023-03-07

1 读后感

对 VALL-E 的扩展，以源语言语音和目标语言文本为提示，预测目标语言语音的声学标记序列，可用于从语音到语音的翻译任务。它可以生成目标语言的高质量语音，同时保留看不见的说话者的声音、情感和声学环境。有效缓解了外国口音问题，可以通过语言 ID 来控制。

以从源文本和目标文本中导出的音素序列，以及从音频编解码器模型中导出的源声学标记作为提示，生成目标语音。

2 介绍

主要贡献

• 提出 VALL-E X 条件跨语言语言模型，以源语言语音和目标语言文本为提示，预测目标语言声学标记。

• 多语言上下文学习框架，能保持看不见的说话者的声音、情感和语音背景，仅依赖源语言中的一个句子提示。

• 显著减少外国口音问题，这是一个众所周知的跨语言问题。

• 将 VALL-E X 应用于零样本跨语言文本到语音合成和零样本语音到语音翻译任务。在说话人相似度、语音质量、翻译质量、语音自然度和人类评估方面击败强基线。

3 方法

除了模型本身，结合使用 G2P Tool 将文本转换成音素，以及最后使用 Encodec 生成音频数据。

3.1 模型构架

由一个自回归的多语音编码器和一个非自回归的编码器组成。

多语言声学标记 (A) 和音素序列 (S) 分别使用编码器和 G2P 工具从语音和转录中转换而来。在训练期间，使用来自不同语言的配对 S 和 A 来优化这两个模型。本文中语义标记指音素序列。

3.2 多语言训练

利用了双语语音转录 (ASR) 语料库，成对的 (Ss, As) 和 (St, At) 来训练多语言模型。

另外，利用语言 ID 来指导 VALL-E X 中特定语言的语音生成。因为是用多语言数据训练的，如果不指定 ID，可能会混淆为特定语言选择合适的声学标记。例如汉语是声调语言，而英语是非声调语言。这在引导正确的说话风格和缓解口音问题方面出奇地有效，具体来说，将语言 ID 嵌入到密集向量中，并将它们添加到声学标记的嵌入中。

3.3 多语言推理

自回归和非自回归模型的输入不同；右侧显示了语音到语音翻译的过程。

给定源语音 Xs，语音识别和翻译模型首先从语义编码器生成源音素 Ss，从语义解码器生成目标音素 St。此外，使用 EnCodec 编码器将 X 压缩为源声学标记 As。然后，将 Ss、St 和 As 连接起来，作为 VALL-E X 的输入，以生成目标语音的声学标记序列。使用 EnCodec 的解码器将生成的声学标记转换为最终的目标语音。

4 相关知识

  • SpeechUT: SpeechUT 是一种跨模态预训练模型，用于将语音和文本连接起来。它使用隐藏单元作为接口来对齐语音和文本，并将语音编码器和文本解码器的表示与共享单元编码器连接起来。
  • G2P Tool 把是 Grapheme-to-Phoneme 工具的缩写，是一种将单词的字素转换为音素的工具。它使用循环神经网络实现。