C#实战：如何高效操作SenseVoice-Small语音识别ONNX模型

1次阅读

没有评论

共计 2596 个字符，预计需要花费 7 分钟才能阅读完成。

在语音识别领域，ONNX 模型因其跨平台和高效推理的特性越来越受到开发者青睐。但对于 C# 开发者来说，使用 ONNX 模型时常常会遇到几个典型问题：

模型加载复杂：需要处理模型路径、版本兼容性等问题
内存管理困难：音频数据预处理和推理过程中容易产生内存泄漏
性能优化挑战：实时语音识别对延迟要求极高，需要优化推理速度
文档匮乏：针对 C# 的 ONNX 模型操作指南较少

在选择推理引擎时，我们主要对比了以下几种方案：

ONNX Runtime：微软官方维护，对.NET 支持良好，轻量级且性能优秀
TensorRT：NVIDIA 专用，性能极佳但局限于特定硬件
LibTorch：PyTorch 的 C ++ 前端，功能强大但集成复杂

最终选择 ONNX Runtime，主要基于以下考虑：

原生支持 C#，API 设计友好
跨平台能力强
活跃的社区支持
对 ONNX 模型格式的最佳兼容性

首先需要安装必要的 NuGet 包：

Install-Package Microsoft.ML.OnnxRuntime
Install-Package NAudio -Version 2.1.0

// 初始化推理会话
var sessionOptions = new SessionOptions();
var session = new InferenceSession("sensevoice-small.onnx", sessionOptions);

// 检查输入输出节点
var inputNodes = session.InputMetadata;
var outputNodes = session.OutputMetadata;

语音识别模型通常需要特定格式的音频输入，以下是标准预处理流程：

重采样：将音频统一到模型要求的采样率（如 16kHz）
归一化 ：将音频数据缩放到[-1, 1] 范围
特征提取：通常提取 MFCC 或 Mel 频谱特征

完整预处理代码示例：

public float[] PreprocessAudio(string filePath)
{using var audioFile = new AudioFileReader(filePath);

    // 重采样到 16kHz
    var resampler = new WdlResamplingSampleProvider(audioFile, 16000);

    // 读取所有样本
    var samples = new List<float>();
    var buffer = new float[resampler.WaveFormat.SampleRate];
    int samplesRead;

    while ((samplesRead = resampler.Read(buffer, 0, buffer.Length)) > 0)
    {samples.AddRange(buffer.Take(samplesRead));
    }

    // 归一化处理
    var max = samples.Max(x => Math.Abs(x));
    return samples.Select(x => x / max).ToArray();}

public string RecognizeSpeech(float[] audioData)
{
    // 创建输入 Tensor
    var inputTensor = new DenseTensor<float>(audioData, new[] {1, audioData.Length});
    var inputs = new List<NamedOnnxValue>
    {NamedOnnxValue.CreateFromTensor("input", inputTensor)
    };

    // 执行推理
    using var results = session.Run(inputs);

    // 处理输出
    var output = results.First().AsTensor<long>();
    return DecodeOutput(output); // 实现解码逻辑
}

ONNX Runtime 支持批量推理，可以显著提高吞吐量：

// 创建批处理输入 Tensor
var batchInput = new DenseTensor<float>(new[] {batchSize, audioLength});

// 填充数据...

// 执行批处理推理
var results = session.Run(new[] 
{NamedOnnxValue.CreateFromTensor("input", batchInput)
});

建议使用生产者 - 消费者模式处理音频流：

var processingQueue = new BlockingCollection<AudioChunk>();

// 生产者线程
Task.Run(() => 
{while (audioStream.HasData)
    {processingQueue.Add(audioStream.GetNextChunk());
    }
    processingQueue.CompleteAdding();});

// 消费者线程
Parallel.ForEach(processingQueue.GetConsumingEnumerable(), chunk => 
{var text = RecognizeSpeech(chunk.Data);
    // 处理识别结果...
});