C# 结合 YOLOv8 实现 GPU 加速推理：从环境配置到性能优化实战

1次阅读

没有评论

共计 2405 个字符，预计需要花费 7 分钟才能阅读完成。

YOLOv8 作为当前最先进的目标检测模型之一，因其高精度和实时性受到广泛关注。然而，对于 C# 开发者来说，直接在 .NET 生态中使用 YOLOv8 存在一些挑战：

Python 与 C# 生态差异：YOLOv8 官方主要支持 Python，而 C# 开发者需要额外的转换和适配
GPU 加速配置复杂：需要处理 CUDA、cuDNN 等依赖项的版本兼容性问题
性能优化困难：缺乏针对 C# 的成熟优化方案，难以充分发挥 GPU 性能

在 C# 中实现 YOLOv8 GPU 加速推理，主要有两种技术路线：

ONNX Runtime：微软推出的跨平台推理引擎，支持多种硬件加速
优点：配置相对简单，跨平台支持好
缺点：性能优化空间有限
TensorRT：NVIDIA 专为 GPU 优化的推理引擎
优点：极致性能优化
缺点：配置复杂，依赖特定硬件

对于大多数 C# 项目，建议先采用 ONNX Runtime 方案，待核心功能稳定后再考虑 TensorRT 优化。

首先需要将 YOLOv8 模型从 PyTorch 格式转换为 ONNX 格式。以下是 Python 中的转换代码：

from ultralytics import YOLO

# 加载预训练模型
model = YOLO('yolov8n.pt')  # 以 yolov8n 为例

# 导出为 ONNX
model.export(format='onnx', dynamic=True, simplify=True)

在 C# 项目中，需要安装以下 NuGet 包：

Install-Package Microsoft.ML.OnnxRuntime
Install-Package Microsoft.ML.OnnxRuntime.Gpu

以下是核心推理代码示例：

using Microsoft.ML.OnnxRuntime;
using Microsoft.ML.OnnxRuntime.Tensors;

public class Yolov8Detector
{
    private readonly InferenceSession _session;

    public Yolov8Detector(string modelPath)
    {
        // 创建 GPU 加速的推理会话
        var sessionOptions = new SessionOptions();
        sessionOptions.AppendExecutionProvider_CUDA();
        _session = new InferenceSession(modelPath, sessionOptions);
    }

    public DetectionResult[] Detect(byte[] imageData)
    {
        // 1. 图像预处理
        var inputTensor = PreprocessImage(imageData);

        // 2. 创建输入
        var inputs = new List<NamedOnnxValue>
        {NamedOnnxValue.CreateFromTensor("images", inputTensor)
        };

        // 3. 执行推理
        using var results = _session.Run(inputs);

        // 4. 后处理
        return Postprocess(results);
    }

    private DenseTensor<float> PreprocessImage(byte[] imageData)
    {
        // 实现图像预处理逻辑
        // 包括: 调整大小、归一化、转换为张量等
    }

    private DetectionResult[] Postprocess(IDisposableReadOnlyCollection<DisposableNamedOnnxValue> results)
    {
        // 实现检测结果的后处理
        // 包括: 非极大值抑制(NMS)、置信度过滤等
    }
}

通过批处理可以显著提高 GPU 利用率。修改输入张量的第一维为批大小：

// 将多张图像堆叠为一个批次
var batchInput = TensorHelper.StackImages(images);

var inputs = new List<NamedOnnxValue>
{NamedOnnxValue.CreateFromTensor("images", batchInput)
};