从零开始：如何用benchmark语音合成技术构建高质量TTS系统

1次阅读

共计 2458 个字符，预计需要花费 7 分钟才能阅读完成。

语音合成（TTS）技术的发展让合成语音的质量越来越高，但评估这些系统的性能却一直是个难题。很多开发者都遇到过这样的情况：两个团队用同样的数据训练模型，却因为评估方法不同，得出完全相反的结论。这种混乱主要来自几个方面：

主观评价不可靠 ：人工听感评分（如 MOS）成本高且易受个人偏好影响
指标不统一 ：不同论文 / 项目使用不同的客观指标，难以横向比较
测试环境差异 ：硬件配置、音频预处理等未标准化导致结果不可复现

平均意见得分（MOS）
5 分制人工评分（1= 很差，5= 非常好）
优点：最贴近人类感知
缺点：需要大量人力，成本高昂
比较平均意见得分（CMOS）
对两个系统进行 AB 对比评分
优点：相对评价更准确
缺点：仍依赖人工
AB 测试
让测试者选择偏好样本
优点：适合产品迭代
缺点：统计显著性需要大量样本
客观指标
MCD（梅尔倒谱失真）：衡量频谱相似度
F0 RMSE：基频误差
V/UV 错误率：清浊音判断准确率

import soundfile as sf
import numpy as np
from sklearn.model_selection import train_test_split

# 加载 LJ Speech 数据集示例
def load_dataset(data_dir, test_size=0.2):
    wav_files = [f for f in os.listdir(data_dir) if f.endswith('.wav')]
    transcripts = [...] # 加载对应文本

    # 确保音频长度一致
    max_len = 16000 * 3  # 3 秒限制
    X = []
    for f in wav_files:
        audio, sr = sf.read(os.path.join(data_dir, f))
        if len(audio) > max_len:
            audio = audio[:max_len]
        else:
            audio = np.pad(audio, (0, max_len - len(audio)))
        X.append(audio)

    return train_test_split(X, transcripts, test_size=test_size)

import librosa
from pydub import AudioSegment
import parselmouth

# 计算 MCD（需要安装 pysptk）def calculate_mcd(ref_audio, synth_audio):
    # 提取梅尔倒谱系数
    ref_mfcc = librosa.feature.mfcc(ref_audio, sr=16000, n_mfcc=24)
    synth_mfcc = librosa.feature.mfcc(synth_audio, sr=16000, n_mfcc=24)

    # 动态时间规整对齐
    from dtw import dtw
    _, _, _, mcd = dtw(ref_mfcc.T, synth_mfcc.T, dist=lambda x, y: np.mean((x - y)**2))
    return mcd

# 计算基频误差
def calculate_f0_rmse(ref_audio, synth_audio):
    ref_f0 = parselmouth.Sound(ref_audio).to_pitch().selected_array['frequency']
    synth_f0 = parselmouth.Sound(synth_audio).to_pitch().selected_array['frequency']

    # 对齐长度
    min_len = min(len(ref_f0), len(synth_f0))
    return np.sqrt(np.mean((ref_f0[:min_len] - synth_f0[:min_len])**2))

import matplotlib.pyplot as plt
import seaborn as sns

def plot_benchmark(results):
    sns.set(style="whitegrid")

    # 指标对比柱状图
    plt.figure(figsize=(10, 5))
    sns.barplot(x="model", y="MCD", data=results)
    plt.title("Mel Cepstral Distortion Comparison")
    plt.ylabel("MCD (dB)")
    plt.show()

    # F0 轨迹对比
    plt.figure(figsize=(12, 4))
    plt.plot(ref_f0, label="Reference")
    plt.plot(synth_f0, label="Synthesized")
    plt.legend()
    plt.title("F0 Contour Comparison")
    plt.ylabel("Frequency (Hz)")
    plt.show()