C#离线实时语音识别实战：基于NAudio与Vosk的高效解决方案

1次阅读

共计 2849 个字符，预计需要花费 8 分钟才能阅读完成。

在线语音识别虽然方便，但在某些场景下存在明显短板：

隐私风险：医疗问诊、工业质检等场景的语音数据可能包含敏感信息
网络依赖：野外作业、工厂车间等环境常出现信号不稳定问题
成本问题：商业 API 按调用量计费，长期使用成本高昂

方案	延迟(ms)	CPU 占用	支持设备
NAudio	15-30	中等	广泛
WaveInAPI	10-20	较低	仅 Windows

引擎	中文准确率	内存占用	模型大小
Vosk	92%	300MB	50MB
CMUSphinx	85%	500MB	1GB

// 初始化 NAudio 捕获设备
var waveIn = new WaveInEvent {
    DeviceNumber = 0, // 默认麦克风
    WaveFormat = new WaveFormat(16000, 16, 1), // 16kHz 采样率,16 位深, 单声道
    BufferMilliseconds = 50 // 50ms 缓冲区
};

关键参数说明：
– 采样率 (sample rate) 建议 16kHz（语音识别够用）
– 位深(bit depth)16 位兼容大多数设备
– 缓冲区太小会导致 CPU 负载高，太大会增加延迟

// 使用内存映射加快模型加载
var modelPath = @"models\vosk-model-small-zh-cn";
using var mmf = MemoryMappedFile.CreateFromFile(modelPath);
using var model = new Model(mmf);

// 热词过滤配置
var recognizer = new VoskRecognizer(model, 16000f);
recognizer.SetWords(true); // 开启单词识别
recognizer.SetMaxAlternatives(3); // 设置候选结果数

// 线程安全音频队列
ConcurrentQueue<byte[]> audioQueue = new();

// 音频捕获回调
waveIn.DataAvailable += (s, e) => {var buffer = new byte[e.BytesRecorded];
    Buffer.BlockCopy(e.Buffer, 0, buffer, 0, e.BytesRecorded);
    audioQueue.Enqueue(buffer);
};

// 识别线程
Task.Run(() => {while (!cts.IsCancellationRequested) {if (audioQueue.TryDequeue(out var chunk)) {if (recognizer.AcceptWaveform(chunk, chunk.Length)) {var result = recognizer.Result();
                // 处理识别结果...
            }
        }
    }
});

public class OfflineSpeechRecognizer : IDisposable {
    private WaveInEvent? waveIn;
    private VoskRecognizer? recognizer;
    private readonly ConcurrentQueue<byte[]> audioQueue = new();
    private CancellationTokenSource? cts;

    public async Task InitializeAsync(string modelPath) {
        try {
            // 异步加载模型
            await Task.Run(() => {using var mmf = MemoryMappedFile.CreateFromFile(modelPath);
                var model = new Model(mmf);
                recognizer = new VoskRecognizer(model, 16000f);
            });

            // 初始化音频设备
            waveIn = new WaveInEvent {WaveFormat = new WaveFormat(16000, 16, 1),
                BufferMilliseconds = 50
            };
            waveIn.DataAvailable += OnAudioDataAvailable;
        }
        catch (Exception ex) {// 错误处理...}
    }

    private void OnAudioDataAvailable(object? sender, WaveInEventArgs e) {
        // WAV 头校验（示例片段）if (e.BytesRecorded < 44) return; 

        var buffer = new byte[e.BytesRecorded];
        Buffer.BlockCopy(e.Buffer, 0, buffer, 0, e.BytesRecorded);
        audioQueue.Enqueue(buffer);
    }

    public void StartListening() {cts = new CancellationTokenSource();
        Task.Run(ProcessAudioQueue, cts.Token);
        waveIn?.StartRecording();}

    private async Task ProcessAudioQueue() {while (!cts?.IsCancellationRequested ?? false) {if (audioQueue.TryDequeue(out var chunk)) {await ProcessAudioChunk(chunk);
            }
            await Task.Delay(10); // 防止 CPU 空转
        }
    }
}

模型大小	准确率	内存占用	识别延迟
small	89%	280MB	120ms
medium	93%	450MB	180ms
large	95%	1.2GB	300ms

采样率	准确率	CPU 占用
8kHz	82%	8%
16kHz	93%	15%
44.1kHz	94%	35%

中文模型加载慢：
将模型文件放在 SSD 硬盘
使用 MemoryMappedFile 加速加载
预热加载（程序启动时预加载模型）

回声消除：

// NAudio 回声抑制（需配合 Acoustic Echo Cancellation 硬件）waveIn.WaveFormat = WaveFormat.CreateCustomFormat(
    WaveFormatEncoding.IeeeFloat, 
    16000, 
    1, 
    64000, 
    4, 
    32);