C# YOLO推理加速实战：从模型优化到生产部署

1次阅读

没有评论

共计 2101 个字符，预计需要花费 6 分钟才能阅读完成。

在 C# 中部署 YOLO 模型时，开发者常遇到几个典型性能瓶颈：

单线程推理效率低 ：默认的同步推理方式无法充分利用多核 CPU 资源
硬件加速缺失 ：未启用 CUDA/OpenVINO 等加速后端时，GPU 算力利用率不足 50%
内存管理粗放 ：频繁的 GC 回收导致推理过程出现卡顿
模型冗余 ：使用 FP32 精度的原始模型会带来不必要的计算开销

优势：跨平台支持最好，API 简洁，支持动态输入
劣势：DirectML 后端在 AMD 显卡上性能波动较大

优势：Windows 原生支持，DX12 统一内存架构
劣势：Linux/Mac 支持有限，调试工具链不完善

优势：极致优化性能，支持 FP16/INT8 量化
劣势：C# 绑定维护较差，部署依赖复杂

推荐方案 ：生产环境首选 ONNX Runtime + CUDA 组合，开发阶段可用 DirectML 快速验证

// 创建推理会话（启用 CUDA EP）var sessionOptions = new SessionOptions();
sessionOptions.AppendExecutionProvider_CUDA();
var session = new InferenceSession("yolov5s.onnx", sessionOptions);

// 获取输入输出元数据
var inputMeta = session.InputMetadata;
var outputMeta = session.OutputMetadata;

class InferenceWorker : IDisposable 
{
    private readonly ConcurrentQueue<Mat> _inputQueue;
    private readonly CancellationTokenSource _cts;

    public InferenceWorker(int workerCount) 
    {
        // 初始化线程安全队列
        _inputQueue = new ConcurrentQueue<Mat>();

        // 启动工作线程
        for(int i=0; i<workerCount; i++)
        {Task.Run(() => ProcessBatchAsync(_cts.Token));
        }
    }

    private async Task ProcessBatchAsync(CancellationToken ct)
    {while(!ct.IsCancellationRequested)
        {if(_inputQueue.TryDequeue(out var image))
            {
                // 执行推理（具体实现见下文）var results = await RunInferenceAsync(image);
                // 处理结果...
            }
            await Task.Delay(1); // 防止 CPU 空转
        }
    }
}

使用官方工具转换 FP32->INT8：

python -m onnxruntime.tools.convert_onnx_models_to_ort \
    --input yolov5s.onnx \
    --output ./quantized \
    --quantize int8

C# 加载量化模型：

var quantizedModelPath = "yolov5s_quantized.ort";
var session = new InferenceSession(quantizedModelPath);

// 使用 ArrayPool 减少 GC 压力
var inputSize = 640 * 640 * 3;
var arrayPool = ArrayPool<float>.Shared;
var rentedArray = arrayPool.Rent(inputSize);

try 
{
    // 填充输入数据...
    fixed (float* ptr = rentedArray)
    {var tensor = new DenseTensor<float>(ptr, inputDims);
        // 执行推理...
    }
}
finally
{arrayPool.Return(rentedArray);
}

输入必须严格匹配模型要求的 NHWC/NCHW 格式
使用 Netron 工具检查模型输入输出维度

// 显式指定 GPU 设备
var providerOptions = new Dictionary<string, string> 
{{ "device_id", "1"}  // 使用第二块 GPU
};
sessionOptions.AppendExecutionProvider_CUDA(providerOptions);