C# 实战：使用 YOLOv8 实现 GPU 加速推理的完整指南

1次阅读

没有评论

共计 3256 个字符，预计需要花费 9 分钟才能阅读完成。

YOLOv8 是目前最先进的目标检测算法之一，但在实际应用中，特别是在 C# 环境中，直接在 CPU 上进行推理会遇到诸多性能瓶颈。主要表现在以下几个方面：

延迟问题 ：CPU 推理速度较慢，尤其是处理高分辨率图像时，延迟显著增加。
吞吐量限制 ：CPU 的并行处理能力有限，无法满足高并发场景的需求。
资源占用高 ：CPU 推理会占用大量计算资源，影响其他任务的运行。

这些问题使得 GPU 加速成为提升 YOLOv8 推理性能的必选项。

在选择推理引擎时，我们需要考虑 C# 生态的支持情况。以下是几种主流推理引擎的对比：

ONNX Runtime：跨平台、支持多种硬件加速，C# 生态完善，易于集成。
TensorRT：NVIDIA 专用，性能优化极致，但 C# 支持较弱，配置复杂。
DirectML：微软推出，适合 Windows 平台，但社区支持较少。

综合考虑，ONNX Runtime 是最适合 C# 开发者的选择，它不仅支持 GPU 加速，还提供了丰富的 API 和文档支持。

YOLOv8 模型通常以 PyTorch 格式（.pt）提供。我们需要将其导出为 ONNX 格式，以便在 C# 中使用。以下是导出步骤：

安装 Ultralytics 库：pip install ultralytics
使用以下 Python 脚本导出模型：

from ultralytics import YOLO

# 加载模型
model = YOLO('yolov8n.pt')

# 导出为 ONNX
model.export(format='onnx', dynamic=True, simplify=True)

在 C# 中，我们需要使用 ONNX Runtime 的 GPU 执行提供程序来启用 GPU 加速。首先，安装 NuGet 包：

Install-Package Microsoft.ML.OnnxRuntime.Gpu

然后，初始化推理会话时指定 GPU 提供程序：

var options = new SessionOptions();
options.AppendExecutionProvider_CUDA(); // 使用 CUDA 加速
var session = new InferenceSession("yolov8n.onnx", options);

GPU 内存有限，合理管理内存是提升性能的关键。以下是几点建议：

使用固定内存 ：将输入数据固定在内存中，减少数据传输开销。
批处理 ：尽量一次处理多张图像，充分利用 GPU 的并行计算能力。
释放资源 ：及时释放不再使用的张量和会话，避免内存泄漏。

以下是一个完整的 C# 实现示例，包括模型加载、数据预处理、推理和后处理。

using Microsoft.ML.OnnxRuntime;
using Microsoft.ML.OnnxRuntime.Tensors;

var options = new SessionOptions();
options.AppendExecutionProvider_CUDA();
var session = new InferenceSession("yolov8n.onnx", options);

YOLOv8 的输入需要归一化到 0-1 范围，并调整为 640×640 大小。

using SixLabors.ImageSharp;
using SixLabors.ImageSharp.PixelFormats;
using SixLabors.ImageSharp.Processing;

// 加载图像
var image = Image.Load<Rgb24>("input.jpg");

// 调整大小并归一化
image.Mutate(x => x.Resize(new ResizeOptions
{Size = new Size(640, 640),
    Mode = ResizeMode.Stretch
}));

// 转换为张量
var input = new DenseTensor<float>(new[] {1, 3, 640, 640});
for (int y = 0; y < 640; y++)
{for (int x = 0; x < 640; x++)
    {var pixel = image[x, y];
        input[0, 0, y, x] = pixel.R / 255.0f;
        input[0, 1, y, x] = pixel.G / 255.0f;
        input[0, 2, y, x] = pixel.B / 255.0f;
    }
}

为了提高吞吐量，可以使用异步推理：

var inputs = new List<NamedOnnxValue>
{NamedOnnxValue.CreateFromTensor("images", input)
};

using var results = await Task.Run(() => session.RunAsync(inputs));

YOLOv8 的输出需要经过 NMS 处理以去除冗余检测框。

var output = results.First().AsTensor<float>();
var boxes = ParseOutput(output);
var filteredBoxes = ApplyNMS(boxes, 0.5f, 0.45f);

private static List<BoundingBox> ParseOutput(Tensor<float> output)
{
    // 解析输出张量，提取检测框
    // 具体实现略
}

private static List<BoundingBox> ApplyNMS(List<BoundingBox> boxes, float scoreThreshold, float iouThreshold)
{
    // 实现非极大值抑制
    // 具体实现略
}

我们对比了同一模型在 CPU 和 GPU 上的推理速度：

CPU：平均推理时间 120ms
GPU (RTX 3060)：平均推理时间 15ms

GPU 加速带来了近 8 倍的性能提升。

进一步优化可以采用模型量化技术，将 FP32 模型转换为 INT8，减少计算量和内存占用：

model.export(format='onnx', int8=True)

在多 GPU 环境中，可以使用 SessionOptions 指定设备 ID：

var options = new SessionOptions();
options.AppendExecutionProvider_CUDA(0); // 使用第一个 GPU

对于负载均衡，可以轮询分配任务到不同的 GPU。

GPU 推理可能因内存不足或其他原因失败，需要做好错误处理：

try
{using var results = session.Run(inputs);
}
catch (Exception ex)
{
    // 记录错误并尝试恢复
    Console.WriteLine($"推理失败: {ex.Message}");
    // 释放资源并重新初始化会话
    session.Dispose();
    session = new InferenceSession("yolov8n.onnx", options);
}