C#中使用ONNX Runtime实现高效目标检测：从模型加载到性能优化

1次阅读

没有评论

共计 2569 个字符，预计需要花费 7 分钟才能阅读完成。

在 C# 生态中实现目标检测功能时，开发者通常面临几个核心问题：

性能瓶颈：传统基于 TensorFlow.NET 或 ML.NET 的方案往往受限于托管环境的开销，推理速度难以满足实时性要求
部署复杂度：需要携带庞大的框架依赖，且跨平台兼容性差
模型转换成本：从训练框架到生产环境的模型格式转换链路长

ONNX Runtime 作为微软开源的跨平台推理引擎，具有以下特点：

高效执行：专为 ONNX 模型优化的推理引擎，比原生框架快 2 - 4 倍
轻量部署：仅需 10MB 左右的运行时依赖
硬件加速：支持 CPU/GPU/NPU 等多种计算后端
语言支持：完美兼容 C# 生态

与 TensorFlow Serving 等其他方案对比：

启动速度快 3 倍
内存占用减少 60%
支持动态批处理

以 YOLOv5 模型为例，使用 Python 转换工具：

import torch
from models.experimental import attempt_load

# 加载 PyTorch 模型
model = attempt_load('yolov5s.pt')
# 转换为 ONNX 格式
torch.onnx.export(
    model,
    torch.randn(1, 3, 640, 640),
    'yolov5s.onnx',
    opset_version=12,
    input_names=['images'],
    output_names=['output'])

安装 NuGet 包：
Microsoft.ML.OnnxRuntime
Microsoft.ML.OnnxRuntime.GPU（如需 GPU 支持）
项目文件配置：

<ItemGroup>
  <PackageReference Include="Microsoft.ML.OnnxRuntime" Version="1.14.0" />
  <PackageReference Include="Microsoft.ML.OnnxRuntime.GPU" Version="1.14.0" 
                    Condition="'$(Configuration)' == 'Release'"/>
</ItemGroup>

public class ObjectDetector : IDisposable
{
    private InferenceSession _session;
    private readonly int _inputSize;

    public ObjectDetector(string modelPath, int inputSize=640)
    {var options = new SessionOptions()
        {
            GraphOptimizationLevel = GraphOptimizationLevel.ORT_ENABLE_ALL,
            EnableMemoryPattern = true
        };

        #if USE_CUDA
        options.AppendExecutionProvider_CUDA();
        #endif

        _session = new InferenceSession(modelPath, options);
        _inputSize = inputSize;
    }

    public DetectionResult[] Detect(Image image)
    {
        // 图像预处理
        var inputTensor = PreprocessImage(image);

        // 创建输入容器
        var inputs = new List<NamedOnnxValue>
        {NamedOnnxValue.CreateFromTensor("images", inputTensor)
        };

        // 执行推理
        using var results = _session.Run(inputs);

        // 后处理
        return Postprocess(results);
    }

    private Tensor<float> PreprocessImage(Image image)
    {
        // 实现 resize/ 归一化等操作
        // 返回形状为 [1,3,H,W] 的张量
    }

    private DetectionResult[] Postprocess(IDisposableReadOnlyCollection<DisposableNamedOnnxValue> outputs)
    {
        // 解析输出张量
        // 实现 NMS 等后处理
    }

    public void Dispose() => _session?.Dispose();
}

每个线程创建独立的 InferenceSession 实例
使用对象池管理会话实例
输入输出 Tensor 尽量复用

启用 EnableMemoryPattern 选项
固定内存布局（Pinned Memory）
使用 MemoryPool 管理中间缓冲区

var options = SessionOptions.MakeSessionOptionWithCudaProvider(
    deviceId: 0, 
    gpuMemLimit: 1L << 30); // 限制 1GB 显存

采用 < 模型名称 >_< 版本 >.onnx 命名规范
实现模型热加载机制
使用 SHA256 校验模型完整性

try
{return detector.Detect(image);
}
catch (OnnxRuntimeException ex) when (ex.ErrorCode == ErrorCode.FAIL)
{Logger.Error($"推理失败: {ex.Message}");
    return Array.Empty<DetectionResult>();}