BERT-VITS2中文情感语音合成实战：从模型调优到生产部署

1次阅读

共计 1817 个字符，预计需要花费 5 分钟才能阅读完成。

传统中文 TTS 系统在情感合成领域存在三个典型缺陷：

韵律边界不自然 ：基于规则的前后端分离架构导致字间停顿生硬，特别是在感叹句和疑问句中，韵律单元（Prosodic Unit）的边界缺乏平滑过渡
语调建模失真 ：对于中文特有的四声变化和疑问语气，传统声学模型（如 Tacotron）的 F0 预测误差常超过 20Hz，导致 ” 吗 ”、” 呢 ” 等疑问助词语调异常
情感维度单一 ：基于全局风格令牌（GST）的方法难以捕捉文本中局部的情感变化，例如同一句话中既有愤怒又有悲伤的复杂情感表达

当前主流端到端 TTS 模型在中文场景下的核心差异：

维度	VITS	VITS2	BERT-VITS2
音素时长预测	基于 Flow 的单调对齐	双向自回归预测	BERT-Prosody 交叉注意力
韵律建模	GST 全局嵌入	层级 VAE 风格编码	细粒度韵律标注驱动
中文适配	需额外文本正则	支持混合语言	原生拼音 - 韵律联合建模

def load_ljspeech_dataset(path: str, sr: int = 22050) -> tuple[torch.Tensor, int]:
    """
    Args:
        path: 音频文件路径
        sr: 目标采样率
    Returns:
        waveform: 归一化后的音频波形
        text: 音素序列索引
    """
    # 使用 torchaudio 加载并重采样
    wav, orig_sr = torchaudio.load(path)
    wav = torchaudio.functional.resample(wav, orig_sr, sr)

    # 静音段检测 (VAD)
    vad = torchaudio.transforms.Vad(sample_rate=sr)(wav)
    return (vad - vad.mean()) / vad.std(), phoneme_to_index(text)

train:
  batch_size: 32
  adamw:
    lr: 1e-4
    weight_decay: 0.01  # 大于 0.02 会导致音素对齐抖动
  grad_clip: 3.0

model:
  n_flows: 4
  n_layers: 6
  prosody_dim: 256  # BERT 隐藏层维度需匹配

class DynamicBatchCollator:
    def __init__(self, max_frames: int = 8000):
        self.max_frames = max_frames

    def __call__(self, batch):
        """基于 CUDA Graph 的动态批处理"""
        sorted_batch = sorted(batch, key=lambda x: x[0].shape[1], reverse=True)
        batches = []
        current_batch, current_len = [], 0

        for item in sorted_batch:
            if current_len + item[0].shape[1] > self.max_frames:
                batches.append(self._pad_batch(current_batch))
                current_batch, current_len = [], 0
            current_batch.append(item)
            current_len += item[0].shape[1]

        return torch.compile(self._pad_batch(current_batch))