C# 使用 GPU 给 YOLOv8 加速：从模型加载到推理优化的完整实践

1次阅读

共计 3226 个字符，预计需要花费 9 分钟才能阅读完成。

YOLOv8 是当前计算机视觉领域的热门模型，以其高精度和实时性著称。然而，在 C# 环境中直接部署 YOLOv8 时，使用 CPU 进行推理往往会遇到性能瓶颈，导致延迟高、吞吐量低等问题。这在高实时性要求的场景（如工业检测、安防监控）中尤为明显。

延迟问题 ：CPU 推理速度较慢，尤其是在处理高分辨率图像时，推理时间可能达到数百毫秒，无法满足实时性需求。
吞吐量限制 ：CPU 的多线程处理能力有限，无法充分利用现代 GPU 的并行计算能力，导致批量推理效率低下。
资源占用 ：CPU 推理会占用大量系统资源，可能影响其他应用程序的性能。

为了解决这些问题，我们需要借助 GPU 加速 YOLOv8 的推理过程。

在 C# 环境中实现 GPU 加速 YOLOv8，有几种主流的技术方案可供选择：

ONNX Runtime：支持跨平台部署，提供 DirectML 和 CUDA 后端，灵活性高。
ML.NET：微软推出的机器学习框架，集成度高，但功能相对受限。
DirectML：Windows 平台专用，性能优异，但跨平台支持较差。

经过对比，我们选择 ONNX Runtime + DirectML 方案，原因如下：

性能优势 ：DirectML 在 Windows 平台上表现优异，尤其适合 NVIDIA 和 AMD GPU。
易用性 ：ONNX Runtime 提供了简洁的 API，便于集成到 C# 项目中。
灵活性 ：支持模型转换和优化，适合多种应用场景。

YOLOv8 的原生模型格式为 PyTorch，需转换为 ONNX 格式以便在 C# 中使用。以下是转换步骤：

安装 Ultralytics 库：
```
pip install ultralytics
```

使用 YOLOv8 官方脚本转换模型：

from ultralytics import YOLO
model = YOLO("yolov8n.pt")
model.export(format="onnx", dynamic=True)

确保系统已安装以下组件：

NVIDIA GPU 驱动 ：最新版本。
CUDA Toolkit：建议 CUDA 11.7 或更高。
cuDNN：与 CUDA 版本匹配。
DirectML：通过 ONNX Runtime 安装。

安装 ONNX Runtime 的 DirectML 包：

dotnet add package Microsoft.ML.OnnxRuntime.DirectML

在 C# 项目中，通过 ONNX Runtime 加载模型并配置 GPU 推理：

创建推理会话：

using Microsoft.ML.OnnxRuntime;
using Microsoft.ML.OnnxRuntime.Tensors;

var options = SessionOptions.MakeSessionOptionWithDirectMLProvider(0); // 使用 GPU 设备 0
var session = new InferenceSession("yolov8n.onnx", options);

输入数据预处理：

// 图像归一化、调整大小等
float[] inputData = PreprocessImage(image);
var inputTensor = new DenseTensor<float>(inputData, new[] {1, 3, 640, 640});
var inputs = new List<NamedOnnxValue> {NamedOnnxValue.CreateFromTensor("images", inputTensor) };

执行推理：

using var results = session.Run(inputs);
var output = results.First().AsTensor<float>();

后处理（非极大值抑制等）：
```
var detections = Postprocess(output);
```

以下是完整的 C# 代码示例，展示了从模型加载到推理的全过程：

using Microsoft.ML.OnnxRuntime;
using Microsoft.ML.OnnxRuntime.Tensors;
using System;
using System.Collections.Generic;
using System.Linq;

public class YOLOv8Inference
{
    private InferenceSession _session;

    public YOLOv8Inference(string modelPath)
    {var options = SessionOptions.MakeSessionOptionWithDirectMLProvider(0);
        _session = new InferenceSession(modelPath, options);
    }

    public List<Detection> RunInference(byte[] imageData)
    {
        // 预处理
        float[] inputData = PreprocessImage(imageData);
        var inputTensor = new DenseTensor<float>(inputData, new[] {1, 3, 640, 640});
        var inputs = new List<NamedOnnxValue> {NamedOnnxValue.CreateFromTensor("images", inputTensor) };

        // 推理
        using var results = _session.Run(inputs);
        var output = results.First().AsTensor<float>();

        // 后处理
        return Postprocess(output);
    }

    private float[] PreprocessImage(byte[] imageData)
    {
        // 实现图像归一化、调整大小等逻辑
        return new float[3 * 640 * 640]; // 示例占位
    }

    private List<Detection> Postprocess(Tensor<float> output)
    {
        // 实现非极大值抑制等逻辑
        return new List<Detection>(); // 示例占位}
}

public class Detection
{public int ClassId { get; set;}
    public float Confidence {get; set;}
    public float X {get; set;}
    public float Y {get; set;}
    public float Width {get; set;}
    public float Height {get; set;}
}

我们对 GPU 加速前后的性能进行了对比测试，结果如下（测试环境：NVIDIA RTX 3060, Intel i7-11700K）：