7天从零开始cosyvoice语音合成：技术实现与避坑指南

1次阅读

共计 1982 个字符，预计需要花费 5 分钟才能阅读完成。

语音合成技术（Text-to-Speech, TTS）在人机交互、智能客服、有声读物等领域有广泛应用。高质量的语音合成系统可以让机器生成的语音更加自然、富有表现力，提升用户体验。随着深度学习的发展，基于神经网络的语音合成技术已经能够生成接近真人发音的效果。

Tacotron2
基于注意力机制的序列到序列模型
生成梅尔频谱后通过 WaveNet 声码器合成语音
优点：音质自然，表现力强
缺点：推理速度慢，训练复杂度高
FastSpeech
基于 Transformer 的非自回归模型
引入持续时间预测器，显著提升推理速度
优点：推理速度快，稳定性高
缺点：需要额外对齐信息
VITS
端到端的语音合成模型
结合变分自编码器和流模型
优点：单模型完成频谱生成和波形合成
缺点：训练难度大，资源消耗高

文本正则化：统一数字、日期等特殊表达
分词与音素转换：将文本转换为音素序列
韵律预测：预测句子中的重音和停顿

cosyvoice 采用基于 FastSpeech2 的改进架构：

编码器：6 层 Transformer，输出音素特征
方差适配器：预测音高、能量和持续时间
解码器：6 层 Transformer，生成梅尔频谱

推荐使用 HiFi-GAN 作为声码器：

多周期鉴别器结构提升音质
多尺度判别器增强稳定性
量化感知训练便于后续部署

# 音频特征提取
def extract_mel(wav_path, sr=22050, n_mels=80):
    """提取梅尔频谱特征"""
    # 加载音频
    wav, _ = librosa.load(wav_path, sr=sr)

    # 预加重
    wav = librosa.effects.preemphasis(wav, coef=0.97)

    # 计算梅尔频谱
    mel = librosa.feature.melspectrogram(y=wav, sr=sr, n_fft=1024, hop_length=256, n_mels=n_mels)

    # 对数压缩和归一化
    mel = np.log(np.clip(mel, a_min=1e-5, a_max=None))
    mel = (mel - mel_mean) / mel_std  # 全局统计量归一化

    return mel

# 学习率调度
def get_lr_scheduler(optimizer, warmup_steps=4000):
    """带 warmup 的学习率调度"""
    def lr_lambda(current_step):
        if current_step < warmup_steps:
            return float(current_step) / float(max(1, warmup_steps))
        return max(0.0, float(warmup_steps)**0.5 * float(current_step)**-0.5
        )

    return torch.optim.lr_scheduler.LambdaLR(optimizer, lr_lambda)

# ONNX 转换
def export_to_onnx(model, sample_input, output_path):
    """将 PyTorch 模型转为 ONNX 格式"""
    torch.onnx.export(
        model,
        sample_input,
        output_path,
        opset_version=12,
        input_names=["input_ids"],
        output_names=["mel_output"],
        dynamic_axes={"input_ids": {0: "batch", 1: "length"},
            "mel_output": {0: "batch", 1: "time", 2: "n_mels"}
        },
        verbose=True
    )