C#实战：基于Whisper模型的高效语音识别解决方案

1次阅读

共计 2281 个字符，预计需要花费 6 分钟才能阅读完成。

在 C# 应用中实现语音识别时，开发者常遇到以下问题：

精度不足：传统声学模型（如 CMU Sphinx）在复杂环境下识别率骤降
依赖云端服务：微软 Azure 等方案存在网络延迟和数据隐私顾虑
部署复杂：需要额外安装语音引擎运行时（如 Windows Speech Platform）

对比主流开源语音识别模型：

模型	识别精度	多语言支持	硬件要求	C# 生态适配
DeepSpeech	中等	有限	较高	需 P /Invoke
Wav2Letter	较高	一般	非常高	无直接支持
Whisper	极高	50+ 语言	中等	ONNX 支持

# 安装必要 NuGet 包
Install-Package Microsoft.ML.OnnxRuntime -Version 1.15.0
Install-Package NAudio -Version 2.1.0

// 加载量化后的模型（约 300MB）var modelPath = "whisper-tiny.en.onnx";
using var session = new InferenceSession(modelPath);

// 输入输出节点配置
var inputNames = session.InputMetadata.Keys.ToList();
var outputNames = session.OutputMetadata.Keys.ToList();

关键步骤：

使用 NAudio 统一采样率为 16kHz
应用预加重滤波（系数 0.97）
分帧处理（帧长 25ms，步长 10ms）
执行 FFT 变换获取梅尔频谱

// 采样率转换示例
using var reader = new AudioFileReader(inputPath);
var resampler = new MediaFoundationResampler(reader, 16000);
WaveFileWriter.CreateWaveFile16(outputPath, resampler);

// 构建输入张量
var inputs = new List<NamedOnnxValue>
{NamedOnnxValue.CreateFromTensor(inputNames[0], audioTensor)
};

// 执行推理
using var results = session.Run(inputs);
var outputTensor = results.First().AsTensor<float>();

关键技术点：

CTC 解码算法处理重复标记
时间戳对齐（每 20ms 输出一个词）
标点符号恢复模型

// 简单文本格式化
var text = string.Join("", tokens)
    .Replace("|", ".")
    .Replace("|", "")
    .Trim();

public class WhisperRecognizer : IDisposable
{
    private readonly InferenceSession _session;
    private readonly Preprocessor _preprocessor = new();

    public WhisperRecognizer(string modelPath)
    {_session = new InferenceSession(modelPath);
    }

    public string Recognize(string audioPath)
    {
        try 
        {var features = _preprocessor.ExtractFeatures(audioPath);
            var inputs = new List<NamedOnnxValue>
            {NamedOnnxValue.CreateFromTensor("mel", features)
            };

            using var results = _session.Run(inputs);
            return ProcessOutput(results.First().AsTensor<long>());
        }
        catch (Exception ex)
        {
            // 记录日志并返回空结果
            Debug.WriteLine($"识别失败: {ex.Message}");
            return string.Empty;
        }
    }

    private static string ProcessOutput(Tensor<long> output)
    {
        // 实际实现需包含词汇表映射等逻辑
        return "识别结果文本";
    }

    public void Dispose() => _session?.Dispose();
}

实测数据（CPU：i7-11800H）：