C# 使用 GPU 给 YOLOv8 加速：从模型加载到推理优化的完整实践

1次阅读

没有评论

共计 2316 个字符，预计需要花费 6 分钟才能阅读完成。

YOLOv8 作为当前最先进的实时目标检测模型之一，在工业检测、安防监控等领域有着广泛的应用。然而，在 C# 环境中直接部署 YOLOv8 时，我们常常会遇到以下性能瓶颈：

高延迟 ：CPU 推理速度慢，尤其是处理高分辨率图像时，单帧推理时间可能超过 100ms，无法满足实时性要求。
低吞吐量 ：批量处理图像时，CPU 的并行计算能力有限，难以充分利用硬件资源。
资源竞争 ：在同时运行其他计算密集型任务时，CPU 资源容易成为瓶颈。

这些痛点使得在 C# 生产环境中部署 YOLOv8 时面临严峻挑战，特别是对实时性要求高的场景。

在 C# 生态中，我们有几种主要的 GPU 加速方案可供选择：

ONNX Runtime：支持跨平台 GPU 加速，兼容性好，性能优异，特别是对 ONNX 模型的原生支持。
ML.NET：微软官方的机器学习框架，提供高级 API，但在 GPU 加速方面功能相对有限。
DirectML：Windows 平台的底层 GPU 加速接口，性能最好，但跨平台支持较差。

经过综合比较，我们推荐使用 ONNX Runtime + DirectML 组合方案，原因如下：

ONNX Runtime 提供统一的模型接口，便于模型部署和维护
DirectML 提供最佳的 Windows 平台 GPU 加速性能
组合方案既有良好的兼容性，又能获得接近原生 GPU 的性能

首先需要将 YOLOv8 的 PyTorch 模型转换为 ONNX 格式：

from ultralytics import YOLO

# 加载预训练模型
model = YOLO('yolov8n.pt')

# 导出为 ONNX 格式
model.export(format='onnx', dynamic=True, simplify=True)

关键参数说明：

dynamic=True 允许输入尺寸可变
simplify=True 启用模型简化优化

在 C# 项目中，需要安装以下 NuGet 包：

Install-Package Microsoft.ML.OnnxRuntime
Install-Package Microsoft.ML.OnnxRuntime.DirectML

确保系统已安装：

支持 DirectX 12 的 GPU
最新的 GPU 驱动程序
Windows 10/11 系统

创建一个基础的推理类：

using Microsoft.ML.OnnxRuntime;
using Microsoft.ML.OnnxRuntime.Tensors;

public class YOLOv8Detector
{
    private InferenceSession _session;

    public YOLOv8Detector(string modelPath)
    {
        // 使用 DirectML 作为执行提供程序
        var options = SessionOptions.MakeSessionOptionWithDmlProvider(0);
        _session = new InferenceSession(modelPath, options);
    }

    public async Task<List<Detection>> DetectAsync(byte[] imageData)
    {
        // 图像预处理
        var inputTensor = PreprocessImage(imageData);

        // 准备输入
        var inputs = new List<NamedOnnxValue>
        {NamedOnnxValue.CreateFromTensor("images", inputTensor)
        };

        // GPU 推理
        using var results = _session.Run(inputs);

        // 后处理
        return Postprocess(results);
    }

    // 详细的预处理和后处理方法省略...
}

我们在以下环境中进行了对比测试：