共计 2057 个字符，预计需要花费 6 分钟才能阅读完成。

前言

最近在项目中需要实现一个实时目标检测系统，考虑到性能和开发效率，最终选择了 C# + YOLOv5 的方案。但在实际开发过程中，遇到了 GPU 资源利用率低、推理延迟高等问题。经过一番摸索和优化，终于将性能提升到了令人满意的水平。本文就记录下这个过程中的心得体会，希望能帮助到有类似需求的开发者。

1. 痛点分析：为什么需要 GPU 加速？

1.1 原生 EmguCV 的问题

最初尝试使用 EmguCV 直接处理视频流时，发现了几个严重问题：

• 显存泄漏：长时间运行后 GPU 显存会不断增长，最终导致程序崩溃
• 同步阻塞：CPU 预处理和 GPU 推理无法并行，造成性能瓶颈
• 灵活性差：难以针对特定硬件进行深度优化

1.2 部署方案选择

对比了两种主流部署方案：

• ONNX Runtime：
• 优点：跨平台支持好，部署简单
• 缺点：需要手动优化才能发挥最大性能
• TensorRT：
• 优点：极致优化，性能最高
• 缺点：部署复杂，模型转换耗时

考虑到项目周期和团队技术栈，最终选择了 ONNX Runtime + 自定义优化的方案。

2. 技术实现：GPU 全链路加速

2.1 环境准备

首先需要安装必要的 NuGet 包：

Install-Package OpenCvSharp4
Install-Package OpenCvSharp4.runtime.win
Install-Package Microsoft.ML.OnnxRuntime.Gpu

2.2 使用 GpuMat 替代 Mat

传统 CPU 处理图像的方式：

using var mat = new Mat(imagePath);

GPU 加速版本：

using var gpuMat = new GpuMat();
gpuMat.Upload(mat); // 上传到 GPU

2.3 模型加载与推理

关键代码示例：

// 初始化 ONNX Runtime
var sessionOptions = new SessionOptions();
sessionOptions.AppendExecutionProvider_CUDA(); // 使用 CUDA 加速
var session = new InferenceSession("yolov5s.onnx", sessionOptions);

// 输入输出名称（需要与模型匹配）const string inputName = "images";
const string outputName = "output0";

// 创建输入 Tensor
var inputTensor = new DenseTensor<float>(inputData, new[] {1, 3, 640, 640});

// 执行推理
using var inputs = new List<NamedOnnxValue>
{NamedOnnxValue.CreateFromTensor(inputName, inputTensor)
};
using var results = session.Run(inputs);

3. 性能优化：从 15FPS 到 45FPS

3.1 并行处理检测框

使用 Parallel.For 异步处理检测结果：

Parallel.For(0, detections.Count, i =>
{
    // 解码检测框
    var bbox = DecodeBoundingBox(detections[i]);
    // 后续处理...
});

3.2 CUDA 流式处理

启用 CUDA 流可以显著提升性能：

var cudaStream = new CudaStream();
using (new CudaStreamContext(cudaStream))
{// 在这里执行 CUDA 操作}

3.3 性能对比

优化前后的性能对比：

4. 避坑指南：常见问题解决

4.1 资源释放顺序

混合使用 OpenCL 和 CUDA 时，必须按正确顺序释放资源：

1. 先释放 CUDA 资源
2. 再释放 OpenCL 资源
3. 最后释放 CPU 资源

4.2 显存泄漏检测

使用 MemoryProfiler 检测显存泄漏：

// 在程序启动时
MemoryProfiler.EnableAllocations();

// 在怀疑泄漏的地方
var snapshot = MemoryProfiler.TakeSnapshot();

5. 扩展思考：进一步优化方向

5.1 GPU 端 NMS

将 NMS (Non-Maximum Suppression) 算法移植到 GPU 端执行，可以进一步提升性能：

// 使用 CUDA 实现 NMS
CudaNMS.Apply(detections, threshold);

5.2 对小目标检测的影响

GPU 加速对小目标检测的影响：

• 优点：处理速度更快，可以尝试更多尺度的检测
• 缺点：可能会丢失一些细微特征，需要调整模型参数

结语

通过这一系列的优化，我们成功将 YOLOv5 在 C# 中的推理性能提升到了 45FPS，满足了实时检测的需求。整个过程中最大的体会是：GPU 加速不仅仅是简单地把计算放到显卡上，更需要考虑数据流、并行处理和资源管理等各个环节。

如果读者在实现过程中遇到问题，欢迎留言讨论。后续我还会分享更多关于模型量化和多模型协同推理的经验。