C# 结合 YOLO 实现 GPU 加速目标检测：从环境搭建到性能优化实战

1次阅读

共计 2473 个字符，预计需要花费 7 分钟才能阅读完成。

在目标检测任务中，YOLO 系列模型因其速度和精度的平衡而广受欢迎。然而，很多 C# 开发者在实际应用时会发现，使用 CPU 模式运行 YOLO 模型时性能往往难以满足实时性要求。以一个典型的 YOLOv5s 模型为例，在 Core i7-10750H 上处理 640×640 图像需要约 120ms，而同样的模型在 RTX 3060 GPU 上仅需 15-20ms。这种 6-8 倍的性能差距在视频流处理等场景中尤为明显。

在 .NET 生态中实现 GPU 加速主要有三种主流方案：

EmguCV：封装了 OpenCV 的 .NET 接口，支持 CUDA 但文档较少
OpenCVSharp：直接调用 OpenCV 的 C++ 库，需要自行编译 CUDA 版本
DirectML：微软官方推出的 GPU 加速方案，兼容性最好但功能较新

经过实测对比，我们推荐 OpenCVSharp + DirectML 的组合方案，既能利用成熟的 OpenCV 图像处理流程，又能通过 DirectML 获得稳定的 GPU 加速支持。

确认显卡支持 CUDA（NVIDIA 官网可查兼容列表）
安装对应版本的 CUDA Toolkit（当前推荐 11.7）
下载匹配的 cuDNN 库并配置环境变量

# 验证安装是否成功
nvcc --version
nvidia-smi

<PackageReference Include="Microsoft.ML.OnnxRuntime.DirectML" Version="1.13.1" />
<PackageReference Include="OpenCvSharp4" Version="4.7.0.20230115" />
<PackageReference Include="OpenCvSharp4.runtime.win" Version="4.7.0.20230115" />

// 初始化推理会话
var sessionOptions = new SessionOptions {
    GraphOptimizationLevel = GraphOptimizationLevel.ORT_ENABLE_ALL,
    EnableMemoryPattern = true,
    ExecutionMode = ExecutionMode.ORT_PARALLEL
};
sessionOptions.AppendExecutionProvider_DML(0); // 启用 DirectML

var modelPath = "yolov5s.onnx";
using var session = new InferenceSession(modelPath, sessionOptions);

// 显存预热（避免首次推理延迟）var dummyInput = new DenseTensor<float>(new[] {1, 3, 640, 640});
session.Run(new[] {NamedOnnxValue.CreateFromTensor("images", dummyInput) });

// 使用 Parallel.For 处理视频帧
var frames = LoadVideoFrames("input.mp4");
var results = new ConcurrentBag<DetectionResult>();

Parallel.For(0, frames.Count, i => {using var tensor = PreprocessFrame(frames[i]);
    var outputs = session.Run(new[] {NamedOnnxValue.CreateFromTensor("images", tensor)
    });

    var detections = Postprocess(outputs);
    results.Add(new DetectionResult(i, detections));
});

显存管理 ：
使用 FixedBufferMemoryPool 减少内存分配
设置 ORT_ENABLE_ALL 优化级别
精度权衡 ：
FP16 模式可提升 30% 速度但可能降低小目标检测精度
建议对 50×50 以下目标保持 FP32

动态批处理 ：

// 根据显存自动调整批大小
int batchSize = EstimateOptimalBatchSize(session);
var batchedInput = BatchFrames(frames, batchSize);

硬件	分辨率	时延 (ms)	FPS
RTX 3060	640×640	18	55
Core i7-10750H	640×640	125	8

DLL 问题 ：确保 OpenCV 的 CUDA 版本与系统 PATH 一致
多线程 ：每个线程需要独立的 InferenceSession 实例
内存泄漏 ：及时释放 IDisposable 对象

// 注册为单例服务
builder.Services.AddSingleton<ObjectDetectionService>();

// 在 Controller 中使用
[ApiController]
public class DetectionController : ControllerBase {[HttpPost]
    public async Task<IActionResult> Detect(IFormFile image) {using var stream = new MemoryStream();
        await image.CopyToAsync(stream);
        var results = _detector.Detect(stream.ToArray());
        return Ok(results);
    }
}