C#离线语音合成实战：从System.Speech到NAudio的技术选型与避坑指南

1次阅读

共计 2306 个字符，预计需要花费 6 分钟才能阅读完成。

在医疗问诊系统、工业控制终端等场景中，语音合成需要满足两个核心诉求：数据不出本地网络、响应时间可控。System.Speech 虽提供开箱即用的 SpeechSynthesizer 类，但其底层依赖 Windows 的 SAPI 接口，导致三个典型问题：

无法在 Linux 容器化环境中部署
语音风格仅支持微软默认声库
高并发时 SAPI 线程池可能引发死锁

API 易用性：5 分钟快速集成，但无法定制音频处理管线
跨平台：仅 Windows 可用，且需目标机器安装语音包
语音质量：16kHz 采样率，支持 SSML 但效果单一

API 易用性：需自行处理音频流，但支持 Bit 深度转换等精细操作
跨平台：通过.NET Standard 实现，实测在 ARM 架构树莓派上可运行
语音质量：可加载自定义声码器模型，最高支持 48kHz 采样

public class OfflineTtsEngine : IDisposable
{
    private readonly WasapiOut _audioOut;
    private readonly BufferedWaveProvider _waveProvider;

    /// <summary>
    /// 初始化 16 位 44.1kHz 的音频输出管道
    /// </summary>
    public OfflineTtsEngine()
    {_waveProvider = new BufferedWaveProvider(new WaveFormat(44100, 16, 1));
        _audioOut = new WasapiOut();
        _audioOut.Init(_waveProvider);
    }

    /// <summary>
    /// 异步播放语音数据流
    /// </summary>
    public async Task PlayAsync(byte[] pcmData)
    {using var ms = new MemoryStream(pcmData);
        using var rawStream = new RawSourceWaveStream(ms, new WaveFormat());

        await Task.Run(() => 
        {byte[] buffer = new byte[4096];
            int read;
            while ((read = rawStream.Read(buffer, 0, buffer.Length)) > 0)
            {_waveProvider.AddSamples(buffer, 0, read);
                if(_audioOut.PlaybackState != PlaybackState.Playing)
                    _audioOut.Play();}
        });
    }

    public void Dispose()
    {_audioOut?.Dispose();
        _waveProvider?.ClearBuffer();}
}

通过 MemoryStream 的GetBuffer()直接访问底层数组，避免合成阶段的多余拷贝：

var ms = new MemoryStream();
synth.SaveToWaveStream(ms);
byte[] audioData = ms.GetBuffer();  // 注意：实际数据长度需用 ms.Length

方案	主线程 CPU 占用	Task.Run 占用	首字节延迟
System.Speech	23%	12%	320ms
NAudio+VITS	8%	5%	210ms

建议对常用短语建立 ConcurrentDictionary 缓存，实测可将 ” 您好 ” 等高频词的延迟从 200ms 降至 5ms：

private readonly ConcurrentDictionary<string, byte[]> _phraseCache = new();

public byte[] GetCachedSpeech(string text)
{
    return _phraseCache.GetOrAdd(text, t => 
    {using var synth = new TtsEngine();
        return synth.Synthesize(t);
    });
}

当调用旧版 SAPI 时，需通过 Thread.SetApartmentState(ApartmentState.STA) 声明线程模型，否则会抛出InvalidOperationException。推荐在独立线程中初始化 COM 组件：

var staThread = new Thread(() => 
{var synth = new SpeechSynthesizer();
    // 操作代码...
});
staThread.SetApartmentState(ApartmentState.STA);
staThread.Start();

NAudio 的 WasapiOut 必须显式 Dispose，建议采用以下模式：

protected virtual void Dispose(bool disposing)
{if (!_disposed)
    {if (disposing)
        {_audioOut?.Stop();
            _waveProvider?.ClearBuffer();}
        _disposed = true;
    }
}

尝试修改 WaveFormat 的采样率参数，观察不同场景下的效果差异：