cn-tts 语音合成模块 32 的高性能实践：从架构设计到生产环境优化

1次阅读

共计 1865 个字符，预计需要花费 5 分钟才能阅读完成。

在中文语音合成的实际生产环境中，cn-tts 模块 32 最初采用串行处理模式。当并发请求超过 50QPS 时，系统开始暴露出明显的性能瓶颈：

线程阻塞严重：每个合成请求需要完整经历文本预处理、声学模型推理、波形生成等步骤，线程在 IO 等待和计算任务间频繁切换
内存碎片累积：频繁的 Tensor 分配 / 释放导致 GPU 内存出现空洞，连续运行 6 小时后需要重启服务
长尾延迟突出：P99 延迟达到 2.3 秒，无法满足实时交互场景需求

我们测试了两种架构在相同硬件环境下的表现（4 核 CPU/RTX3060/32GB 内存）：

架构类型	平均延迟(ms)	最大吞吐(QPS)	GPU 利用率
同步调用	420	58	65%
异步流水线	178	215	92%

关键发现：

异步模式将文本预处理与模型推理分离，避免了 CPU-bound 和 GPU-bound 任务相互阻塞
流水线架构允许批量处理 FFT 窗长参数，梅尔频谱生成效率提升 40%

from queue import Queue
from threading import Thread
from typing import Optional, Tuple

class DoubleBuffer:
    def __init__(self, max_size: int = 100):
        self._active_queue = Queue(maxsize=max_size)
        self._backup_queue = Queue(maxsize=max_size)
        self._lock = threading.Lock()

    def swap_buffers(self) -> None:
        with self._lock:
            self._active_queue, self._backup_queue = self._backup_queue, self._active_queue

    def put(self, item: Tuple[str, dict]) -> bool:
        try:
            self._active_queue.put_nowait(item)
            return True
        except Queue.Full:
            return False

# 生产者线程示例
def producer(buffer: DoubleBuffer):
    while True:
        text = get_input_text()
        if not buffer.put((text, {"speaker_id": 32})):
            logging.warning("Buffer overflow, dropping request")

# 转换 ONNX 模型时指定动态 batch
trtexec --onnx=model.onnx \
        --saveEngine=model.engine \
        --minShapes=input:1x128 \
        --optShapes=input:8x128 \
        --maxShapes=input:32x128 \
        --fp16

关键参数说明：

设置动态 shape 适应不同长度的中文文本输入
FP16 模式减少显存占用同时保持合成质量

使用线程安全的 regex 库处理中文标点符号
特别注意全角 / 半角符号的统一化处理要在预处理阶段完成

采用对象池管理声学模型实例
每处理 1000 次请求后强制执行torch.cuda.empty_cache()
监控 GPU 内存使用率，超过 80% 时触发告警

经过优化后的基准测试结果（持续压测 1 小时）：

指标	数值
最大 QPS	243
P50 延迟	89ms
P99 延迟	213ms
OOM 发生阈值	>18 小时
音频首包时间	67ms

FROM nvidia/cuda:11.3.1-base

RUN apt-get update && \
    apt-get install -y python3.8 \
                       libsndfile1 \
                       ffmpeg

COPY requirements.txt .
RUN pip install -r requirements.txt

# 特别配置
ENV CUDA_LAUNCH_BLOCKING=1
ENV PYTHONUNBUFFERED=1

CMD ["python", "-m", "cn_tts_service"]

经过三个月的生产环境验证，该方案在日均 200 万次调用的电商客服场景中保持零故障运行。建议后续可以探索：