共计 1589 个字符，预计需要花费 4 分钟才能阅读完成。
背景痛点
在语音合成领域，普通话 TTS 技术已经相当成熟，但直接将现有模型迁移到粤语时，会遇到以下核心问题：
- 音素缺失：粤语包含大量普通话中没有的音素，如入声字（-p/-t/- k 收尾）和鼻腔音（如 ” 五 ” 读作 ng5）
- 韵律失调：粤语的九声六调系统（平上去入各分阴阳）导致传统普通话 Prosody 模型完全失效
- 数据匮乏：高质量粤语语音数据集不足普通话的 1 /10，且存在严重的懒音现象（年轻一代混淆 n / l 声母）
技术选型
我们对主流 TTS 架构进行方言场景测试（V100 16GB 环境）：
| 模型 | RTF(实时因子) | 显存占用 | 粤语 CER | MOS 自然度 |
|---|---|---|---|---|
| WaveNet | 0.8 | 9.2GB | 18.7% | 3.8 |
| Tacotron2 | 0.3 | 6.1GB | 12.3% | 4.1 |
| FastSpeech2 | 0.1 | 4.7GB | 9.8% | 4.3 |
结论：FastSpeech2 在平衡效率与质量方面表现最优，特别适合需要实时合成的商业场景。
核心实现
粤语音素集设计
我们扩展了 ARPABET 标准，新增 21 个粤语特有音素（示例节选）：
# 声母新增
DH ð 舌齿擦音（如 "哋"dei6）NG ŋ 软腭鼻音（如 "我"ngo5）# 韵母新增
ATP ap 入声韵（如 "十"sap6）EKT ɛk 入声韵（如 "石"sek6）韵律标注规范
使用 Praat 工具标注时需特别注意：
- 入声字必须标记为 ” 短调核 ”（duration < 80ms）
- 变调连续体要用 ”_” 连接（如 ” 唔该 ” 标记为 m4_goi1）
- 句末语气词需降低基频 20-30Hz
Conformer 架构改进
将 Transformer 中的自注意力层替换为 Convolution-augmented Transformer：
class ConformerBlock(nn.Module):
def __init__(self, dim):
super().__init__()
self.ffn1 = FeedForward(dim)
self.conv = ConformerConvModule(dim) # 因果卷积
self.attention = RelativePositionMultiHeadAttention(dim)
self.ffn2 = FeedForward(dim)
def forward(self, x, mask):
x = x + 0.5 * self.ffn1(x)
x = x + self.conv(x) # 捕获局部声学特征
x = x + self.attention(x, x, x, mask)
x = x + 0.5 * self.ffn2(x)
return x生产优化
小样本迁移学习
采用三阶段训练策略：
- 用 100 小时普通话数据预训练 base 模型
- 冻结 encoder，用 5 小时粤语数据微调 decoder
- 全部参数用 20 小时粤语数据联合优化
连读变调处理
实现规则引擎预处理文本：
def cantonese_sandhi(text):
# "一" 变调规则
if "一" in text:
text = re.sub(r"一([1-6])", "jat1_\1", text)
# "唔" 变调规则
text = re.sub(r"唔([1-3])", "m4_\1", text)
return text避坑指南
- 数据清洗：必须过滤懒音样本（可通过强制对齐的 phone error rate 检测）
- 声码器选择：HiFi-GAN 在粤语上的表现优于 WaveRNN（MOS 提升 0.4 分）
- 显存优化：使用梯度检查点时 batch_size 可提升 3 倍
延伸应用
本方案可扩展到其他方言：
- 闽南语需处理文白异读（建立多发音词典）
- 吴语需标注连续变调（如上海话的二字组变调）
- 客家话需特别注意声门塞音 (ʔ) 的建模
实践资源
Q：如何获取粤语训练数据？
A：建议从粤语电视剧提取干净人声（需获授权），配合数据增强技术
Q：模型为什么发不出正确的入声？
A：检查音素标签是否准确，建议用强制对齐工具校验
Q：商业应用需要注意什么？
A：需遵守《通用语言文字法》关于方言使用的规定，建议添加普通话混合输出模式
正文完
